DB Podcast

Neue Wissensdatenbank

Prof. Valmed: Zertifiziertes KI-Tool, aber ungeprüft?

< zurück

Seite: 2/2

Anbieter zum Thema

Der Name Prof. Valmed dient der Wiedererkennbarkeit

Dr. Vera Roedel, CEO von Prof. Valmed – validated medical information GmbH,  erklärt im Gespräch mit Chefredakteur Heiner Sieger die Verwendung des Titels Professor für ihre Unternehmens-Marke.

Dr. Vera Roedel ist CEO von Prof. Valmed – validated medical information GmbH.(Bild:  Sophie Boyer)
Dr. Vera Roedel ist CEO von Prof. Valmed – validated medical information GmbH.
(Bild: Sophie Boyer)

Ist der Telekom und Prof. Valmed bewusst, dass die gezielte Verwendung des Titels „Professor" für ein kommerzielles Produkt eine psychologische Autoritätswirkung erzeugt, die nachweislich (u. a. aus der Forschung zu Autoritäts-Bias) dazu führt, dass Empfehlungen weniger kritisch hinterfragt werden? Wurde diese Wirkung bei der Namenswahl bewusst einkalkuliert oder in Betracht gezogen?

Dr. Vera Roedel: Autoritäts- und Automation Bias sind bekannte Phänomene, die bei der Entwicklung und beim Einsatz medizinischer KI berücksichtigt werden müssen. Aus der allgemeinen Forschung hierzu folgt aber nicht, dass die Marke „Prof. Valmed" bei medizinischen Fachkräften zu einer unkritischen Übernahme von Ergebnissen führt. Eine solche Wirkung ist für Prof. Valmed nicht belegt und war auch nicht Ziel der Namenswahl. Prof. Valmed wird durchgehend als KI-basiertes medizinisches Entscheidungsunterstützungssystem und nicht als reale Person dargestellt. Gerade bei der Integration in andere Systeme steht die Marke zudem nicht im Vordergrund, sondern bezeichnet im Wesentlichen die zugrunde liegende Technologie.

Halten Sie es für ethisch vertretbar, einen gesellschaftlich geschützten und für jahrelange wissenschaftliche Qualifikation stehenden Titel als Marketinginstrument für ein Softwareprodukt zu nutzen – während zugleich Menschen, die diesen Titel unbefugt für sich persönlich führen, sich nach § 132a StGB strafbar machen? Wie rechtfertigen Sie diesen Widerspruch?

Die von Ihnen gezogene Parallele zu § 132a StGB greift nicht. Die Vorschrift betrifft das unbefugte persönliche Führen akademischer Grade und Titel. Bei „Prof. Valmed®" behauptet keine Person, Träger eines Professorentitels zu sein; es handelt sich erkennbar um die registrierte Marke eines Softwareprodukts. Die Marke wurde nach den einschlägigen europäischen markenrechtlichen Maßstäben registriert. Marken, die geeignet sind, das Publikum über Art oder Eigenschaften der betreffenden Waren oder Dienstleistungen zu täuschen, unterliegen einem absoluten Eintragungshindernis. Entscheidend bleibt daneben die konkrete Verwendung – und hierbei wird jederzeit transparent gemacht, dass Prof. Valmed ein KI-System ist. Die Markenregistrierung ist dabei korrekt als Registrierung und nicht als ethische oder regulatorische „Zulassung" des Namens zu bezeichnen.

Warum wurde nicht ein neutraler, funktional beschreibender Name gewählt, der Vertrauen ausschließlich über nachgewiesene Leistung statt über Anleihen bei einer geschützten sozialen Kategorie aufbaut?

„Valmed" verweist auf „validated medical information" und beschreibt damit den inhaltlichen Anspruch des Produkts. Der Name dient der Wiedererkennbarkeit einer Marke, nicht als Nachweis medizinischer Qualität. Vertrauen soll und muss Prof. Valmed durch seine nachgewiesene Leistung, die zugrunde liegenden Quellen, die regulatorische Konformität und die transparente Darstellung seiner Grenzen gewinnen. In integrierten Anwendungen tritt der Bestandteil „Prof." ohnehin deutlich hinter die konkrete Funktion als klinisches Entscheidungsunterstützungssystem zurück.

Prof. Valmed ist keine Person, sondern ein KI-System

Werden Patientinnen und Patienten aktiv und verständlich darüber informiert, dass „Prof. Valmed" keine reale Person ist, sondern ein KI-System – insbesondere angesichts der Tendenz vieler Patienten, ärztliche Autorität unreflektiert zu vertrauen? Oder verbleibt die Aufklärungspflicht vollständig und ohne Vorgaben bei der einzelnen Praxis?

Die Prämisse der Frage trifft auf den hier beschriebenen Anwendungsfall nicht zu. Prof. Valmed ist ausschließlich für Ärzte und andere medizinisch qualifizierte Fachkräfte bestimmt. Patientinnen und Patienten erhalten keinen Zugang, kommunizieren nicht mit Prof. Valmed und bekommen von dem System keine unmittelbaren Empfehlungen. Die professionellen Nutzer werden in der Benutzeroberfläche, den Terms of Use, der Instruction for Use, den Schulungsunterlagen und dem Disclaimer ausdrücklich darüber informiert, dass es sich um ein KI-basiertes Medizinprodukt handelt. Die Diagnose- und Therapieentscheidung sowie deren Kommunikation gegenüber dem Patienten bleiben beim behandelnden Arzt.

Wie stellen Sie sicher, dass ältere, gesundheitlich vulnerable oder gesundheitskompetenz-schwache Patient:innen nicht durch den Namen „Professor" fälschlich annehmen, mit einem menschlichen Facharzt bzw. einer besonders qualifizierten Instanz zu kommunizieren oder untersucht zu werden?

Auch ältere oder besonders vulnerable Patientinnen und Patienten treten in diesem Anwendungsfall nicht mit Prof. Valmed in Kontakt. Sie können daher weder annehmen, mit einem menschlichen Professor zu kommunizieren, noch werden sie von Prof. Valmed untersucht. Der Zugang ist auf medizinisch qualifizierte Nutzer beschränkt. Innerhalb der hier vorgesehenen Systemintegration erscheint Prof. Valmed als technische Entscheidungsunterstützung und nicht als menschliche oder unmittelbar gegenüber Patienten auftretende Instanz.

In der Pressemitteilung wird betont, Verantwortung bleibe „jederzeit" bei den Ärztinnen und Ärzten. Ist Ihnen bewusst, dass gerade die Kombination aus Zeitdruck im Klinikalltag, hoher Fallzahl und einer als „Professor" auftretenden und autoritär wirkenden KI wissenschaftlich belegten Automation Bias begünstigt – also genau jenes unreflektierte Übernehmen von Empfehlungen, das die Verantwortungsklausel eigentlich verhindern soll? Welche konkreten Schutzmechanismen existieren gegen dieses Risiko?

Die ärztliche Letztentscheidung ist keine bloße Haftungsklausel, sondern wird durch konkrete Produkt- und Prozessmaßnahmen unterstützt:

  • Zugang ausschließlich für medizinisch qualifizierte Nutzer
  • Keine autonome Diagnose, Verordnung oder Ausführung einer Therapieentscheidung
  • Klare und wiederholte Warnung, dass die Ausgabe nicht als alleinige Grundlage einer diagnostischen oder therapeutischen Entscheidung verwendet werden darf
  • Anzeige der medizinischen Quellen, auf denen die jeweilige Antwort beruht, einschließlich der Möglichkeit, diese unmittelbar zu öffnen und selbst zu prüfen
  • Hinweise auf Grenzen, mögliche Fehler, unvollständige Informationen und unterschiedliche Leitlinien
  • Schulungen zur kritischen Nutzung medizinischer KI über die Valmed A(I)cademy
  • Feedback-, Qualitäts-, Vigilanz- und Incident-Meldeprozesse
  • Fortlaufende Überwachung und Risikobewertung im Rahmen des Qualitätsmanagement- und Post-Market-Surveillance-Systems

Die behandelnde Fachkraft bleibt damit aktiv im Entscheidungsprozess. Das System gibt keine nicht überprüfbare Handlungsanweisung aus und setzt Entscheidungen nicht selbst um.

Wie wird verhindert, dass die Verantwortungsverlagerung auf den Arzt de facto zu einer Haftungsverschiebung wird, bei der die Telekom beziehungsweise Prof. Valmed wirtschaftlich von der Autoritätswirkung des Produkts profitieren, im Fehlerfall jedoch rechtlich und moralisch vollständig der behandelnde Arzt haftet?

Es findet keine vollständige Verlagerung der Verantwortung auf den Arzt statt. Die Verantwortungsbereiche bleiben rechtlich getrennt: Prof. Valmed ist als Hersteller für die regulatorische Konformität, Sicherheit und Leistungsfähigkeit des Medizinprodukts verantwortlich. Integrations- und Betreiberpflichten verbleiben bei den jeweils verantwortlichen Unternehmen und Einrichtungen. Der Arzt ist für die konkrete medizinische Bewertung und Behandlungsentscheidung verantwortlich.

Zwingende gesetzliche Verantwortlichkeiten können durch einen Disclaimer nicht beseitigt werden. Auch unsere Terms of Use schließen insbesondere die Haftung für Schäden an Leben, Körper oder Gesundheit aufgrund einer schuldhaften Pflichtverletzung nicht aus. Die ärztliche Letztentscheidung ist daher ein Sicherheits- und Human-Oversight-Prinzip und keine Freizeichnung des Herstellers.

Besteht die Gefahr, dass junge Ärztinnen und Ärzte durch tägliche Nutzung eines autoritär auftretenden KI-Systems diagnostische und differentialdiagnostische Fähigkeiten langfristig weniger eigenständig entwickeln oder verlieren („Deskilling")? Welche Studien oder Konzepte adressieren dieses Risiko konkret, über die reine Zeitersparnis-Argumentation hinaus?

Ein mögliches Deskilling durch falsch ausgestaltete oder unkritisch verwendete Assistenzsysteme ist ein ernst zu nehmendes allgemeines Forschungsthema. Es ist aber weder zwangsläufige Folge klinischer Entscheidungsunterstützung noch speziell durch den Namen „Prof. Valmed" belegt. Prof. Valmed ist darauf ausgerichtet, eigenständiges klinisches Denken zu unterstützen: Das System erweitert den Zugang zu Differentialdiagnosen und Leitlinien, zeigt die zugrunde liegenden Quellen und verlangt deren fachliche Einordnung. Die Schulungen behandeln ausdrücklich die Grenzen von KI, Fehlermöglichkeiten und die fortbestehende Verantwortung der Nutzer.

Eine langjährige produktspezifische Längsschnittstudie zu einem möglichen Deskilling durch Prof. Valmed liegt derzeit noch nicht vor; etwas anderes würden wir nicht behaupten. Ebenso wenig gibt es aber eine wissenschaftliche Grundlage für die Behauptung, die Nutzung von Prof. Valmed führe zu einem Verlust diagnostischer Fähigkeiten. Die laufende Evaluation, Nutzerqualifizierung und Marktüberwachung dienen gerade dazu, mögliche Fehlentwicklungen frühzeitig zu erkennen.

Inwiefern ist die Vermarktung unter einem vertrauenserweckenden „Professorentitel" Ausdruck eines grundsätzlichen Spannungsverhältnisses zwischen dem kommerziellen Interesse der Telekom/Detecon und dem Patientenwohl, das eher nüchterne, kritisch hinterfragbare statt autoritär auftretende Systeme erfordern würde?

Dass ein Medizinprodukt kommerziell entwickelt und angeboten wird, begründet für sich genommen keinen Interessenkonflikt mit dem Patientenwohl. Dies gilt für Software ebenso wie für andere Medizinprodukte, Arzneimittel oder klinische Informationssysteme.
Entscheidend sind nachprüfbare Leistung, Sicherheit, regulatorische Konformität, transparente Grenzen und ein sinnvoller klinischer Nutzen. Prof. Valmed präsentiert sich nicht als menschlicher Professor und gibt keine unüberprüfbaren Autoritätsentscheidungen vor. In der Telekom-Integration steht die konkrete Unterstützungsfunktion im Vordergrund; Prof. Valmed wird als zugrunde liegende Technologie kenntlich gemacht.

Eine gesonderte Ethikkommissionsprüfung ausschließlich für die Namensgebung wurde nicht durchgeführt. Eine solche Prüfung ist für Produktmarken weder das vorgesehene noch ein übliches Freigabeverfahren.

Wurde eine unabhängige ethische Prüfung, wie durch eine Ethikkommission oder unabhängige Medizinethiker zur Namensgebung, Kommunikationsstrategie und Autoritätswirkung des Produkts durchgeführt – unabhängig von der technisch-regulatorischen CE-Zertifizierung, die ethische Aspekte der Produktkommunikation nicht abdeckt?

Eine gesonderte Ethikkommissionsprüfung ausschließlich für die Namensgebung wurde nicht durchgeführt. Eine solche Prüfung ist für Produktmarken weder das vorgesehene noch ein übliches Freigabeverfahren. Wir behaupten auch nicht, dass eine CE-Kennzeichnung eine eigenständige ethische Genehmigung eines Markennamens darstellt. Es bestehen vielmehr unterschiedliche, deutlich voneinander zu trennende Prüf- und Aufsichtsebenen:

  • Der Produktname „Prof. Valmed" ist markenrechtlich registriert
  • Das Medizinprodukt hat für Klasse IIb ein Konformitätsbewertungs-Verfahren unter Einbeziehung einer unabhängigen Benannten Stelle durchlaufen
  • Produktbezeichnung, Zweckbestimmung, Kennzeichnung, Instruction for Use, Risikomanagement und klinische Bewertung sind Bestandteile der regulatorischen Dokumentation
  • Das Produkt wurde der zuständigen Gewerbe- beziehungsweise Marktüberwachungsbehörde unter dieser Bezeichnung und mit dieser Zweckbestimmung im maßgeblichen Verfahren zur Kenntnis gebracht und nicht beanstandet.

Regulatorisch korrekt handelt es sich bei einem Medizinprodukt nicht um eine behördliche „Zulassung" wie bei einem Arzneimittel, sondern um eine MDR-Konformitätsbewertung mit anschließender CE-Kennzeichnung und Berechtigung zum Inverkehrbringen. Ebenso wird eine Marke registriert und nicht als Produkt „zugelassen". Diese Verfahren ersetzen keine abstrakte Ethikdebatte, zeigen aber, dass weder Name noch Zweckbestimmung außerhalb der einschlägigen rechtlichen und regulatorischen Strukturen verwendet werden.

Heiner Sieger ChefredakteurHeiner Sieger
ist Chefredakteur der Fachpublikationen Digital Business Magazin und e-commerce magazin.

Bildquelle: Heiner Sieger

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung