KI-Bot im Gesundheitswesen ChatGPT: AutoPrompt soll die Analyse klinischer Daten verbessern

Anbieter zum Thema

DFKI Dt. Forschungszentrum für Künstl. Intelligenz GmbH

Esker Software Entwicklungs-und Vertrieb

Yorizon GmbH & Co. KG

Wie gut können KI-Bots wie ChatGPT logische Zusammenhänge analysieren? Das Forschungsprojekt AutoPrompt soll Fehlern und Halluzinationen der Systeme beim Schlussfolgern entgegenwirken.

Klinische Studien enthalten in der Regel große Mengen an Daten und Texten. Sprachmodelle wie ChatGPT helfen Medizinern und Klinikpersonal dabei, mittels natürlicher Sprache Informationen gezielt abzurufen. Doch wie gut können KI-Bots wie ChatGPT logische Zusammenhänge analysieren und daraus die richtigen Schlussfolgerungen ziehen?

Hier setzt das Forschungsprojekt AutoPrompt des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) an. Es soll Fehlern und Halluzinationen der Systeme beim Schlussfolgern entgegenwirken. Dazu entwickeln die Forscher ein System, das die Fähigkeiten großer Sprachmodelle mit menschlicher Interaktion kombiniert. So soll die Leistung von ChatGPT beim Verstehen natürlicher Sprache im Kontext des Gesundheitswesens verbessert werden.

ChatGPT im Gesundheitswesen

Im Gesundheitswesen gewinnen Sprachmodelle aufgrund ihrer Fähigkeit zur automatischen Verarbeitung großer Mengen unstrukturierter oder halbstrukturierter Daten zunehmend an Aufmerksamkeit. „Mit ihrem Aufkommen wächst unser Interesse am Verständnis ihrer Fähigkeiten für Aufgaben wie die Inferenz bei natürlicher Sprache als Datengrundlage“, so die Wissenschaftlerin Siting Liang, die das Projekt AutoPrompt im Forschungsbereich Interaktives Maschinelles Lernen im DFKI Niedersachsen vorantreibt. Bei der sogenannten Natural Language Inferenz (NLI) gehe es darum, so Liang, zu bestimmen, „ob eine Behauptung angesichts einer Prämisse oder einer Reihe von Fakten eine zutreffende Schlussfolgerung oder aber einen Widerspruch darstellt“.

Siting Liang erläutert das Vorgehen an einem Beispiel: Ausgangspunkt ist die Behauptung, dass Patienten mit Hämophilie (Bluterkrankheit) von einer Studie ausgeschlossen sind, wenn bestimmte Prämissen zutreffen wie beispielsweise ein erhöhtes Risiko zu einer Blutung. „Diese Aufgabe erfordert, dass die Modelle den Inhalt der Behauptung verstehen, relevante Hinweise aus wissenschaftlichen Artikeln extrahieren und die Übereinstimmung zwischen der Behauptung und den Hinweisen bewerten, um auf den Wahrheitsgehalt der Behauptung zu schließen“, erläutert sie. 

Optimierung des ChatGPT-Prompting

In einem ersten Schritt will die Wissenschaftlerin das Prompting optimieren – also die Anweisung an den Chatbot, um eine bestimmte Antwort zu erhalten. Dazu erforscht sie verschiedene Strategien wie beispielsweise Chain-of-Thoughts-Methoden. Das Chain-of-Thought-Prompting ist eine Methode, die ein KI-Modell zur schrittweisen Ausführung eines Vorgangs auffordert und jeden Schritt und sein Ergebnis in der Ausgabe darzustellen. So soll dem Bot ein gewisses Maß an Argumentationsfähigkeit entlockt werden. „ChatGPT mag zwar in der Lage sein, relevante Sätze aus einem Kontext zu erkennen, aber genaue logische Schlussfolgerungen zu ziehen, erfordert ein tieferes Verständnis von Domänenwissen und natürlicher geschriebener Sprache“, sagt Liang.

Large Language Models (LLM)

KI-Chatbots: Ein Einsatz im Krankenhaus wäre derzeit grob fahrlässig

In einem zweiten Schritt wird sie die Leistung von ChatGPT bei NLI-Aufgaben unter Verwendung verschiedener Datensätze bewerten und Verbesserungen vorschlagen. „Unser Ziel ist es, den  Sprachmodellen mehr domänenspezifische Quellen als Kontext zur Verfügung zu stellen“, so die Wissenschaftlerin.  Dazu sollen die am besten geeigneten Prompting-Strategien und ein Generierungsrahmen implementiert werden, der einen effizienteren Zugang zu zusätzlichem Wissen ermöglicht.

ChatGPT mag zwar in der Lage sein, relevante Sätze aus einem Kontext zu erkennen, aber genaue logische Schlussfolgerungen zu ziehen, erfordert ein tieferes Verständnis von Domänenwissen und natürlicher geschriebener Sprache.

Siting Liang, Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)

Zusammenarbeit zwischen System und Mensch

AI Human Collaboration, also die Zusammenarbeit zwischen System und Mensch, in diesem Falle Studenten der Medizin, spielt im Projekt eine große Rolle. Dafür hat Siting Liang eine Studie innerhalb des Projektes angelegt. Gegeben ist die Behauptung, dass Patienten mit der Diagnose eines bösartigen Hirntumors von einer Primärstudie ausgeschlossen sind, sofern Kriterien wie zum Beispiel eine  Chemotherapie zutreffen. Die angehenden Mediziner werden in zwei Gruppen eingeteilt, innerhalb derer sie zwei Stunden lang ihr Wissen einbringen und Entscheidungen treffen über die Beziehung zwischen der Behauptung und den Kriterien. Gruppe 1 bewertet die vom KI-System vorgegebenen Entscheidungen und Gruppe 2 korrigiert Fehler des Systems.

Das Projekt AutoPrompt läuft von Januar bis Dezember 2024 und wird durch einen Grant von Accenture, einem der weltweit führenden Beratungs-, Technologie- und Outsourcing-Unternehmen, finanziert.

Künstliche Intelligenz

Medizinische Diagnosen: Viele Menschen misstrauen dem „Doktor KI“