KI Explainable AI: Für mehr Klarheit und Vertrauen

Anbieter zum Thema

d.velop AG

xSuite Group GmbH

Esker Software Entwicklungs-und Vertrieb

Wie kommt generative KI zu ihren Ergebnissen? Und wie kann man Entscheidungsprozesse von ChatGPT & Co. für die Nutzer nachvollziehbar machen? Der Forschungsbereich Explainable AI (XAI) kann dazu beitragen, die Erklärbarkeit und Vertrauenswürdigkeit großer Sprachmodelle zu verbessern und damit auch deren Rechtskonformität zu optimieren.

Menschen wollen Entscheidungen verstehen: Der Schiedsrichter zeigt eine rote Karte. Oder die Bank verwehrt einen erhofften Kredit. Immer bleibt die Frage nach dem Warum. Und wir wissen aus eigener Erfahrung, dass wir Entscheidungen deutlich besser annehmen, wenn sie in ihrer Entstehung nachvollziehbar sind. Wenn wir das Für und Wider verstehen und die Hintergründe kennen. Erklärungen erleichtern Verständnis und fördern Akzeptanz. 

Das gilt für Entscheidungen von Menschen ebenso wie für Entscheidungen, die auf Basis eines KI-Algorithmus gefällt wurden. Dass wir uns als Gesellschaft gerade über die Entstehung KI-basierter Entscheidungen Gedanken machen sollten, ist spätestens seit dem Erfolg von ChatGPT auch einer breiten Öffentlichkeit bewusst. KI-Algorithmen werden inzwischen in vielen Bereichen eingesetzt, oft mit persönlichen Daten trainiert und damit zur Grundlage wichtiger Entscheidungen. Doch hierbei ergibt sich bislang häufig ein grundlegendes Problem: Weder der Nutzer noch der Entwickler des Algorithmus sind in der Lage zu beschreiben, wie die KI zu einem Ergebnis gekommen ist.

LLMs zwischen dem Wunsch nach Erklärbarkeit und gesetzlicher Regulierung

Mehr Transparenz ist speziell bei den großen Sprachmodellen (LLMs) wie ChatGPT gefragt. Bislang begeistern die Anwendungen mit ihren atemberaubenden Fähigkeiten weltweit die User. Doch für eine weitere und nachhaltig erfolgreiche Implementierung von KI-Anwendungen in unseren Alltag muss gelten: Mysterium war gestern. Klarheit ist das Gebot der Stunde. Denn gerade das Faszinosum der Anfänge wird zum Hindernis für die Zukunft: Das Unwissen darüber, warum ein KI-Modell eine bestimmte Antwort auf eine bestimmte Aufforderung gibt, könnte absehbar die Zahl der möglichen Anwendungen wieder einschränken.

Und was schon seit Jahren ein Problem für KI-Anwendungen in stark regulierten Branchen wie dem Finanzwesen und der Medizin ist, wird auch für eine zunehmende Zahl von Sektoren gelten, sobald der AI Act der EU in Kraft tritt. Denn dessen wesentliches Ziel lautet: KI-Algorithmen, die in Bereichen eingesetzt werden, die mit personenbezogenen Daten und Sicherheit zu tun haben, müssen nachvollziehbare Entscheidungen treffen, um einen Schutz vor unbeabsichtigten Verzerrungen oder Missbrauch personenbezogener Daten zu gewährleisten.

Explainable AI in großen Sprachmodellen

Aber wie können Unternehmen vor diesem Hintergrund modernste KI-Technologie in Bereichen wie Finanzen, Medizin oder Personalwesen einsetzen und gleichzeitig den strengen gesetzlichen Vorschriften gerecht werden? Die Lösung für dieses KI-Problem liefert – wenig erstaunlich – wiederum die KI:

Der Forschungsbereich Explainable AI (XAI) kann diese Herausforderung für Entwickler und Nutzer von KI lösen – indem Methoden entwickelt werden, um besser zu verstehen, welche Daten und Variablen in den komplexen Algorithmen primär genutzt werden. Die dazu verwendeten Methoden sind so vielfältig wie die verschiedenen KI-Modelle. Im Allgemeinen lassen sie sich in zwei große Ansätze einteilen: Bei der globalen Erklärbarkeit wird versucht, ein komplettes Modell abzubilden und zu interpretieren – mit dem Ziel, die allgemeine Entscheidungslogik eines Modells zu verstehen. Im Gegensatz dazu wird bei der lokalen Erklärbarkeit die Entscheidung eines Modells für eine bestimmte Eingabe untersucht, um zu verstehen, wie diese bestimmte Eingabe zu einem entsprechenden Output führt.

Der zweite Ansatz eignet sich besonders zur Erklärung von LLMs – etwa durch den Einsatz störungsbasierter Methoden. Die Idee: Wenn man den Input, der einem Modell gegeben wird, sowie dessen Antworten kennt, werden mit verschiedenen punktuellen Variationen des Inputs konkrete Auswirkungen auf die Antwort erkennbar. Das Ergebnis ist eine klare visuelle Darstellung der Teile eines Prompts, die den größten Einfluss auf die jeweilige Antwort hatten.

Weitere Explainable AI-Methoden und ihre Grenzen

Eingabeorientierte Experimente mit KI-Modellen sind in der aktuellen XAI-Forschung auch nicht auf LLMs beschränkt. So arbeitet die SHAP(SHapley Additive exPlanations)-Methode mit der Permutation der Merkmale einer Person, um zu analysieren, wie wichtig bestimmte Merkmale für die Reaktion des KI-Modells sind. Durch viele Wiederholungen in verschiedenen Kombinationen kann man die Auswirkungen jedes Merkmals auf die Reaktion des KI-Modells abschätzen. Eine grundsätzliche Einschränkung ist aber zu beachten: Denn Explainable AI-Methoden erstellen Erklärungen für das Verhalten von KI-Modellen – sie beschreiben aber nicht, wie sich die Merkmale auf die reale Welt auswirken. Wenn ein KI-Modell aus den ihm zur Verfügung gestellten Daten zum Beispiel eine fehlerhafte Assoziation zwischen den Merkmalen einer Person und ihrer Kreditwürdigkeit gelernt hat, wird diese Assoziation auch in den von der XAI-Methode erstellten Erklärungen auftauchen.

Erklärbar, vertrauenswürdig, gesetzeskonform – die Zukunft der KI

Dennoch zeigen die Fortschritte im Bereich Explainable AI, dass das Verhalten selbst der komplexesten KI-Modelle grundsätzlich erklärbar ist. Diese Erklärungen können dazu beitragen, dass KI-Lösungen künftig in einer Weise eingesetzt werden, die mit der aktuellen Gesetzgebung (z. B. der DSGVO) und künftigen Gesetzen wie dem AI Act vereinbar – und für die Nutzer dennoch gewinnbringend – ist.

Fakt ist aber auch: Explainable AI kann nur Teil einer umfassenderen Antwort sein und muss mit anderen Aspekten einer vertrauenswürdigen KI, wie Datensicherheit, Robustheit und Kontrolle, kombiniert werden. In diesem Kontext kann XAI aber wesentlich dabei unterstützen, die Einhaltung von Vorschriften zu erleichtern und Unternehmen helfen, innovative KI-Anwendungen zu entwickeln, ohne sich über die gesetzlichen Vorgaben Gedanken machen zu müssen. Weil die Frage nach dem Warum geklärt ist.