Deutsches Krebsforschungszentrums (DKFZ) UroBot: Sprachmodell beantwortet Fachfragen präziser als Urologen

Anbieter zum Thema

DKFZ Deutsches Krebsforschungszentrum

Esker Software Entwicklungs-und Vertrieb

Wissenschaftler des Deutschen Krebsforschungszentrums entwickelten einen KI-Chatbot. UroBot beantwortet Fragen der Facharztprüfung Urologie mit hoher Genauigkeit.

Mit den Fortschritten der personalisierten Onkologie werden urologische Leitlinien zunehmend komplexer. Sei es im Tumorboard, einer Fallkonferenz zur Behandlung von Patienten mit einer Krebserkrankung, auf Station oder in der Praxis: Ein präzises Zweitmeinungssystem für medizinische Entscheidungen in der Urologie könnte Ärzte bei der evidenzbasierten und personalisierten Versorgung unterstützen, insbesondere bei Zeit- oder Kapazitätsengpässen. Hier soll das auf Künstlicher Intelligenz basierende Sprachmodelle UroBot helfen.

Sprachmodelle (Large Language Model, LLM) wie ChatGPT haben zwar das Potenzial, medizinisches Fachwissen abzurufen und ohne zusätzliche Schulung komplexe medizinische Fragen zu beantworten. Allerdings ist ihre Anwendbarkeit in der klinischen Praxis oft aufgrund veralteter Trainingsdaten und mangelnder Erklärbarkeit eingeschränkt. Um diese Hürden zu überwinden, hat ein Team um Titus Brinker vom Deutschen Krebsforschungszentrum (DKFZ) gemeinsam mit Ärzten der Urologischen Universitätsklinik Mannheim den UroBot entwickelt – einen spezialisierten Chatbot für die Urologie, der durch die aktuellen Richtlinien der Europäischen Gesellschaft für Urologie ergänzt wurde.

Künstliche Intelligenz

Medizinische Diagnosen: Viele Menschen misstrauen dem „Doktor KI“

Urologie-Sprachmodell basiert auf GPT-4o

UroBot basiert auf dem Sprachmodell GPT-4o von OpenAI. Es nutzt eine durch das Team angepasste Methode zur abrufunterstützten Generierung (Retrieval Augmented Generation, RAG). Das Sprachmodell ist in der Lage, auf die individuelle Frage hin relevante Informationen aus hunderten Dokumenten zielgerichtet abzurufen, um präzise und erklärbare Antworten zu liefern. Das modifizierte Modell wurde an 200 Fachfragen des European Board of Urology getestet und in mehreren Durchläufen bewertet.

Die Studie zeigt, welches Potenzial in der Verbindung von großen Sprachmodellen mit evidenzbasierten Leitlinien steckt, um die Leistung in spezialisierten medizinischen Bereichen zu verbessern.

Titus Brinker, Deutsches Krebsforschungszentrum (DKFZ)

Das Ergebnis: UroBot-4o beantwortete Fragen zur Facharztprüfung zu 88,4 Prozent korrekt und übertraf damit das aktuellste Modell GPT-4o um 10,8 Prozentpunkte. Damit stellt UroBot nicht nur andere Sprachmodelle in den Schatten, sondern übertrifft auch die durchschnittliche Leistung von Urologen bei der Facharztprüfung, die in der Literatur mit 68,7 Prozent angegeben wird. Zudem zeigt UroBot eine sehr hohe Zuverlässigkeit sowie Konsistenz in den Antworten.

Medizin-Dokumentation

Arztbriefe: Kollege KI bewährt sich auch in der Praxis

„Die Studie zeigt, welches Potenzial in der Verbindung von großen Sprachmodellen mit evidenzbasierten Leitlinien steckt, um die Leistung in spezialisierten medizinischen Bereichen zu verbessern“, so Titus Brinker vom DKFZ. Die Verifizierbarkeit und die gleichzeitig sehr hohe Genauigkeit mache UroBot zu einem vielversprechenden Assistenzsystem für die Patientenversorgung. Die Nutzung von nachvollziehbaren Sprachmodellen wie UroBot werde Brinker zufolge in den nächsten Jahren eine enorme Bedeutung in der Patientenversorgung bekommen.

Das Forschungsteam hat den Code und die Anleitung zur Nutzung von UroBot veröffentlicht, um künftige Weiterentwicklungen in der Urologie, aber auch weiteren medizinischen Fachbereichen zu ermöglichen.