Maximilian Harms von Dataiku erklärt, warum viele Firmen beim Return on Agent (ROA) bei 10 bis 15 Prozent Effizienzplus stehen bleiben statt weit mehr rauszuholen – und wie Orchestrierung, Governance und ein kluges Operating Model Agenten von Showcases zu skalierbarem Mehrwert führen.
Warum viele Unternehmen mit KI-Agenten bei 10 bis 15 Prozent Effizienzplus stecken bleiben – und wie sie die ROA-Gap schließen.
Wie Unternehmen von reinem Automatisieren zur Neugestaltung kompletter Wertströme kommen – mit Praxisbeispiel aus der Pharmabranche.
Welche KPIs, Governance-Regeln und Operating Models den Return on Agent messbar skalieren.
Sie haben im Zusammenhang mit dem Einsatz und Nutzen von KI-Agenten den Begriff „ROA-Gap“ geprägt. Was genau meinen Sie mit Return on Agent – und worin unterscheidet sich das vom klassischen ROI?
Maximilian Harms: ROA beschreibt den konkreten Geschäftsnutzen, der durch KI‑Agenten entsteht. Es geht also nicht nur um Investitionsrendite, sondern um messbare Effekte in Umsatz, Kosten und Risiko, die direkt auf agentische Fähigkeiten zurückgehen. Die Lücke – die ROA‑Gap – entsteht, weil die Möglichkeiten, die Agenten heute versprechen, deutlich schneller wachsen als der tatsächlich realisierte Mehrwert. Studien zeigen: Ein sehr großer Teil der Unternehmen nutzt KI, aber nur ein kleiner Prozentsatz weist belastbaren Businessnutzen nach. Aus meiner Sicht liegt das daran, dass Firmen zwar in Technologie investieren, jedoch die Befähigung der Fachbereiche, die Orchestrierung über Silos hinweg sowie eine stringente Governance zu selten von Anfang an mitdenken.
Bewährt hat sich ein Hub‑and‑Spoke‑Modell. Das zentrale Hub stellt Plattform, Infrastruktur, Modellkataloge, Richtlinien und Schulungen bereit. In den Spokes der Fachbereiche entstehen die Use Cases – mit abgestufter Autonomie je Reifegrad.
Maximilian Harms, Senior Director Business Transformation bei Dataiku
Warum übersehen Unternehmen diese Differenz so häufig?
Maximilian Harms: Viele Projekte starten technologiegetrieben: „Wir brauchen LLMs und Agenten.“ So entstehen Lösungen in einzelnen Systemen oder Abteilungen, die zwar lokal wirken, aber keinen Ende‑zu‑Ende‑Effekt entfalten. Der bessere Weg beginnt beim Businessproblem und klaren, domänenspezifischen KPIs. Erst darauf folgt die Entscheidung, ob Agenten tatsächlich den Unterschied machen. Zusätzlich fehlt häufig die Orchestrierung über Datenquellen, Tools und Infrastrukturen hinweg. Und ohne Governance für Qualität, Kosten, Nachvollziehbarkeit und Human‑in‑the‑Loop bleibt der Effekt entweder klein oder nicht skalierbar.
Der große Gewinn liegt Ihrer Ansicht nach in der Neugestaltung von Prozessen, nicht in inkrementeller Optimierung. Haben Sie ein Beispiel?
Maximilian Harms: Ein Beispiel kommt aus der Rechtsabteilung eines großen Schweizer Pharmakonzerns, Roche. Patentanwältinnen und ‑anwälte haben mit Unterstützung von Data Scientists einen Agenten entwickelt, der Patentdatenbanken, Urteile, Behördenunterlagen und interne Dokumente durchsucht, relevante Passagen semantisch abgleicht und Entwürfe für Einsprüche sowie Zusammenfassungen erstellt. Vor dem Versand prüft die jeweilige Juristin oder der Jurist die Inhalte, passt an, setzt das Freigabehäkchen – Human‑in‑the‑Loop ist fest verankert. Dadurch sinken Bearbeitungszeiten deutlich, und es werden jährlich mehrere Hunderttausend US‑Dollar eingespart. Transformativ wird es, wenn dieser Agent mit Forschung und Entwicklung rückgekoppelt wird: Dann fließen Patentlandschaft und Freiheitsgrade systematisch in Portfolio‑ und Wirkstoffentscheidungen ein. Das ist ein neu gedachter Wertstrom statt nur 15 Prozent Zeitersparnis im bestehenden Ablauf.
Hören Sie sich das ausführliche Interview mit Maximilian Harms in unserem DIGITAL BUSINESS Transformation Leaders Podcast an
Woran erkennt man früh, dass ein Projekt nur Routineaufgaben automatisiert, statt neue Fähigkeiten zu schaffen?
Maximilian Harms: Ein sicheres Zeichen ist, wenn der Ausgangspunkt die Technologie ist und nicht eine präzise definierte Business‑Kennzahl. Wer mit „Wir bauen einen Agenten“ startet, landet oft bei kleinen Automatisierungen. Beginnt man dagegen mit der Frage, welche Kennzahlen sich entlang eines Wertstroms verbessern sollen – etwa Ausschussquote, Gesamtanlageneffektivität, First‑Contact‑Resolution, Durchlaufzeit oder Fehlerrate –, dann wird der Sollprozess anders designt. Erst im zweiten Schritt entscheidet man, ob und wo Agenten mit Zugriff auf Systeme und Daten wirklich den Unterschied machen. Ein weiteres Indiz: Wenn ein Agent nur innerhalb eines einzigen Systems arbeitet und keine Schnittstellen zu vorgelagerten oder nachgelagerten Schritten besitzt, bleibt der Nutzen lokal.
Wo entstehen die kritischen Reibungen zwischen Menschen und KI‑Agenten – und wie adressiert man sie?
Maximilian Harms: Entscheidend ist das Zusammenspiel aus Prozessen, Menschen und Technologie. Prozesse müssen das passende Maß an Human‑in‑the‑Loop fest verankern: Im Recruiting oder bei rechtlichen Schreiben gelten andere Schwellen als beim Priorisieren interner IT‑Tickets. Technologie wiederum muss Transparenz bieten, wer wann was entschieden hat, inklusive dokumentierter Quellen und Versionen. Und die Menschen brauchen Befähigung und Klarheit: Welche Aufgaben übernimmt der Agent, wer verantwortet die Ergebnisse, wie sehen Freigaben und Eskalationen aus? Akzeptanz steigt, wenn Agenten monotone Tätigkeiten spürbar reduzieren und so Zeit für Kommunikation, Kreativität und komplexe Entscheidungen schaffen.
DER GESPRÄCHSPARTNER
Maximilian Harms leitet bei Dataiku als Senior Director Business Transformation die Beratung strategischer Kunden zur Skalierung von Data- und KI-Initiativen – von Operating Models über Governance bis zur Wertrealisierung.
(Bild: Dataiku)
Wie messen Sie ROA jenseits bloßer Zeitersparnis – und wie vermeiden Sie Verzerrungen?
Maximilian Harms: Ich starte immer mit den primären Business‑KPIs. In der Fertigung sind das zum Beispiel Stillstandszeiten, Ausschuss, Nacharbeitsquoten, Qualitätskosten oder OEE. Im Service und IT‑Support zählen First‑Contact‑Resolution, Bearbeitungszeiten, Eskalationsquoten und Kundenzufriedenheit. In Finanzen und Recht kommen etwa Forecast‑Genauigkeit, Days Sales Outstanding, Abschlussdauer, Durchlaufzeiten von Prüfungen oder vermiedene Sanktionen hinzu. Idealerweise validieren wir Effekte über A/B‑Tests oder sogar randomisierte Kontrollgruppen – etwa zwischen Produktionslinien oder Standorten. Wo das nicht praktikabel ist, funktioniert ein sauberes Vorher‑Nachher‑Design, wenn Baselines, Beobachtungszeiträume und Saisonalität mitgedacht werden und die Datenqualität kontinuierlich überwacht wird.
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die WIN-Verlag GmbH & Co. KG, Chiemgaustraße 148, 81549 München einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://kontakt.vogel.de/de/win abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.