Kontrolle von KI-Tools KI-Observability: 40 Prozent der Unternehmen wollen LLMs überwachen

Anbieter zum Thema

Gartner Deutschland GmbH

FIS Informationssysteme und Consulting GmbH

Esker Software Entwicklungs-und Vertrieb

Yorizon GmbH & Co. KG

Laut einer neuen Prognose von Gartner wollen bis 2028 40 Prozent der Unternehmen, die KI einsetzen, KI-Observability zur Überwachung der Modellleistung und möglicher Verzerrungen nutzen. Spezielle Tools bieten die notwendigen Mechanismen, um algorithmische Risiken zu überwachen.

Zur Implementierung von KI-Observability-Tools erläutert Padraig Byrne, VP Analyst bei Gartner: „KI ist allgegenwärtig, doch die meisten Unternehmen stehen noch am Anfang, wenn es darum geht, diese Systeme zuverlässig zu überwachen und Vertrauen in sie aufzubauen. Diese Transparenzlücke macht eine Skalierung riskant und genau deshalb ist Observability so wichtig. Anders als bei herkömmlicher Software bleibt die Entscheidungsfindung von KI häufig im Verborgenen. Das erschwert es, sie zu erklären oder ihr zu vertrauen. Fehler können jedoch erhebliche finanzielle Verluste, Reputationsschäden und behördliche Prüfungen nach sich ziehen.“

Verhalten und Risiken von KI-Anwendungen bewerten

Gartner definiert Observability als eine Eigenschaft von Software und Systemen, die es ermöglicht, sie anhand ihrer Ergebnisse zu verstehen und Fragen zu ihrem Verhalten zu beantworten. KI-Observability erfordert spezielle Tools, mit denen sich Verhalten, Entscheidungsfindung und Risiken einer KI-Lösung steuern und bewerten lassen. Wie etwa Modelldrift, Verzerrungen oder die Logik von LLMs.

Padraig Byrne betont: „Der Wechsel zu speziellen KI-Observability-Tools beschleunigt sich aufgrund der Sorge von Führungskräften über das Risikomanagement in komplexen KI-Modellen und agentischer KI – nicht nur in Bezug auf die Gesundheit von Infrastruktur oder Anwendungen. Es gibt einen wachsenden Bedarf an prädiktiver Problemerkennung und umsetzbaren Echtzeit-Erkenntnissen in KI-Modellen. Die Nicht-Einführung dieser Tools setzt Organisationen erheblichen Governance-Risiken aus.“

Laut Gartner-Studien umfasst KI-Observability außer der Bewertung von Risiko und Vertrauen auch die Fähigkeit, Verfügbarkeit, Leistung und Genauigkeit von KI-Plattformen zu überwachen. Das wird essenziell, da Unternehmen bei Entscheidungen zunehmend auf KI-gestützte Ergebnisse angewiesen sind. 

„Ohne klare, standardisierte Modelltelemetrie stehen Infrastruktur- und Betriebsteams (I&O) bei KI-Anwendungen vor verlängerten Zeiten zur Störungsbehebung. Dann sind komplexe manuelle Aufwände nötig, um das Verhalten intransparenter Deep-Learning-Modelle nachzuverfolgen und zu debuggen. KI-Observability bietet die notwendigen Mechanismen, um algorithmische Risiken zu überwachen und zu mindern, und schafft damit die technische Grundlage für breites Vertrauen in die Unternehmens-KI und deren Einführung“, betont Byrne.

KI-Observability bietet die notwendigen Mechanismen, um algorithmische Risiken zu überwachen und zu mindern, und schafft damit die technische Grundlage für breites Vertrauen in die Unternehmens-KI und deren Einführung.

Padraig Byrne, Gartner

In vier Schritte zur Umsetzung von KI-Observability

Gartner empfiehlt Verantwortliche von I&O, folgende vier Maßnahmen in ihre Strategien für KI-Plattformen aufzunehmen:

• Verbindliche Richtlinien zur Überwachung von KI-Modellen für alle produktiven Deployments etablieren, mit kontinuierlichem Tracking von Fairness-, Drift- und Datenqualitätsmetriken.
• Monitoring-Frameworks über Data-Science-, MLOps- und Engineering-Teams hinweg standardisieren, um Konsistenz und Kontrolle sicherzustellen. Das reduziert organisatorische Silos und beschleunigt die Problemlösung.
• Infrastruktur priorisieren, die hochvolumige Modelltelemetrie aufnehmen und analysieren kann, mit Fokus auf spezialisierte Lösungen, die verteiltes Tracing von KI-Inferenzaufrufen unterstützen.
• Sicherstellen, dass IT-Strategien Vorkehrungen für die zukünftige Überwachung der Leistung von KI-Plattformen, die Erkennung von Shadow-IT-Aktivitäten und das Kostenmanagement enthalten, um diese Herausforderungen mit zunehmender Reife der Technologie zu bewältigen.

Wie sich die digitale Transformation durch die Integration von KI beschleunigen, Cloud-Kosten optimieren und eine resiliente Infrastruktur aufbauen lassen, zeigt die kostenfreie Roadmap von Gartner „Boost Your I&O Leadership: Proven Tactics to Align CIO Priorities“.
Gartner unterstützt C-Level-Führungskräfte und Technologieanbieter bei der Umsetzung von KI-Strategien zur Erreichung ihrer geschäftskritischen Prioritäten. Die Unabhängigkeit und Objektivität der Gartner-Insights geben Kunden die Sicherheit, fundierte Entscheidungen zu treffen und das volle Potenzial von KI auszuschöpfen. Führungskräfte auf C-Level können das KI-Tool AskGartner nutzen, um zu bestimmen, wie KI in ihrem Unternehmen eingesetzt werden kann.

Studie von Gartner

Künstliche Intelligenz wird bis 2030 alle IT-Arbeitsbereiche prägen