KI-Projekte LLM: Vom Scheitern der KI im Enterprise-Stack

Anbieter zum Thema

Sybit GmbH

FIS Informationssysteme und Consulting GmbH

Esker Software Entwicklungs-und Vertrieb

Yorizon GmbH & Co. KG

KI ist überall angekommen, doch oft nur als Spielwiese. Damit Large Language Models (LLM) echten Mehrwert liefern, brauchen sie mehr als gute Formulierungen: Sie brauchen Kontext. Nur tief verknüpft mit Firmendaten und Prozessen wird daraus ein verlässliches Enterprise-Werkzeug.

KI ist in den Unternehmen angekommen – zumindest auf den ersten Blick. Texte werden automatisiert erstellt, Produktbeschreibungen übersetzt, E-Mails zusammengefasst, Chatbots getestet. Kaum eine Digitalstrategie kommt noch ohne KI-Bezug aus. Und doch bleibt der Schritt vom Experiment in den produktiven Betrieb schwierig. Auch Studien zeigen das. Eine aktuelle Befragung von Omdia unter 1.130 Endanwendern und Entscheidern zeigt beispielsweise: Rund 89 Prozent der Unternehmen optimieren ihre Geschäftsprozesse noch nicht gezielt mit KI. Nur 18 Prozent haben umfassende Kennzahlen für alle KI-Anwendungen definiert. Vielen fehlt damit die Grundlage, um zu bewerten, ob KI-Projekte tatsächlich Zeit sparen, Kosten senken oder zusätzlichen Umsatz bringen.

KI wird also vielerorts ausprobiert. Genau hier beginnt aber die eigentliche Herausforderung: Ein Large Language Model, das überzeugend formuliert, ist noch lange kein verlässlicher Bestandteil eines Unternehmensprozesses. Aber warum? Ein LLM kennt keine Kundenhistorie, keine Vertragsdetails, keine offenen Tickets, keine Preislogiken und keine internen Freigaberegeln. Es kann Sprache erzeugen, versteht aber nicht automatisch, welche Antwort in einem konkreten Geschäftskontext richtig, zulässig und hilfreich ist.

Gerade in komplexen Enterprise-Landschaften mit CRM, Commerce, Service, Marketing Automation, ERP und Datenplattformen entsteht der Mehrwert nicht durch das Modell allein. Er entsteht dadurch, dass ein LLM mit dem richtigen Kontext verbunden wird. Ein Service-Chatbot muss wissen, wer der Kunde ist, welche Produkte im Einsatz sind, welche Service-Level gelten und welche Fälle offen sind. Ein Sales Assistant wird erst dann nützlich, wenn er Aktivitäten, Angebote, Bestellungen, Gesprächsnotizen und aktuelle Kundensignale zusammenführen kann. Erst dann wird aus einer generischen KI-Antwort eine belastbare Empfehlung.

LLM: Der Use Case entscheidet

Viele KI-Initiativen starten mit der Technologie. Neue Tools sind schnell verfügbar, Demos beeindrucken und die Einstiegshürde ist niedrig. Aus Business-Sicht ist das aber selten der richtige Ausgangspunkt.Die entscheidenden Fragen lauten: Wo entsteht Reibung im Prozess? Wo verlieren Kunden Orientierung oder Vertrauen? Wo verbringen Mitarbeitende zu viel Zeit mit manuellen Aufgaben? Und wo kann KI einen messbaren Unterschied machen?

Hier sind einige erfolgreiche Beispiele: Im Commerce kann ein KI-gestützter Verkaufsberater Kunden durch komplexe Entscheidungen führen. Im Service kann ein virtueller Agent Anfragen analysieren, klassifizieren, übersetzen und Lösungsvorschläge machen. Im Vertrieb kann KI relevante Informationen bündeln und Besuchsvorbereitung oder Nachbereitung vereinfachen. KI ist in diesen Szenarien wertvoll, weil sie einen konkreten Prozess verbessert: durch schnellere Reaktionen im Service, bessere Conversion im Commerce, eine vollständigere Datenbasis im Vertrieb oder spürbare Entlastung der Mitarbeitenden.

LLM: Transparenz schafft Vertrauen

Aber wie gelingt das? Sobald ein LLM produktiv eingebunden wird, reicht es nicht, wenn eine Antwort plausibel klingt. Unternehmen müssen genau nachvollziehen können, warum eine Antwort entstanden ist, welche Daten genutzt wurden und welche Aktion ein System ausführt oder vorschlägt. Diese Transparenz bedeutet: Kontrolle über Datenquellen, Berechtigungen, Prozesslogik, Systemzugriffe, Aktionen und Übergaben an Menschen. Dafür braucht es klare Leitplanken: Welche Daten darf ein LLM verwenden? Welche Systeme darf es abfragen? Welche Aktionen darf es ausführen? Wann braucht es eine menschliche Freigabe? Und wie lässt sich später prüfen, warum ein bestimmter Vorschlag gemacht wurde? Erst wenn diese Fragen beantwortet sind, entsteht Vertrauen – bei Kunden, Mitarbeitern und im Management.