Wie Forscher der TU München, des Imperial College London und des Hasso-Plattner-Instituts entdeckt haben, können Angreifer KI-Modellen Informationen zu Personen entlocken. „Membership Inference Attacks“ können zeigen, ob medizinische Daten in KI-Modelle eingeflossen sind.
KI-Modelle, etwa für die Erkennung von Krebs, werden mit Gesundheitsdaten von Patientinnen und Patienten trainiert. Bereits die Information, dass persönliche Daten in ein Modell eingeflossen sind, kann negative Auswirkungen für die Betroffenen haben, wenn sie in die falschen Hände gerät. Im Fachmagazin Nature hat ein Forschungsteam in dem Beitrag "Disparate privacy risks from medical AI" gezeigt, dass den Modellen diese sensiblen Informationen mit der passenden Methode deutlich effektiver entlockt werden können als bislang gedacht.
Die Forscher der Technischen Universität München (TUM), des Imperial College London und des Hasso-Plattner-Instituts (HPI) konnten zeigen, dass bisherige Berechnungen zur Sicherheit von KI-Modellen irreführend sind. Angriffe, mit denen sich herausfinden lässt, ob Daten einer Person in ein Modell eingeflossen sind, werden in der Fachsprache als „Membership Inference Attacks“ (MIAs) bezeichnet. Bislang galten gängige KI-Modelle in der Medizin als weitgehend sicher vor MIAs.
KI-Modelle: Durchschnittliches Risiko für alle Patienten
Daniel Rückert ist Professor für KI und Informatik in der Medizin an der TU München.
(Bild: Juli Eberle/Technische Universität München)
„Leider haben die entsprechenden Tests immer nur ein durchschnittliches Risiko für alle Patienten ermittelt. Wir haben uns erstmals das Risiko für individuelle Patienten angeschaut – für diese zeigt sich ein ganz anderes Bild“, erklärt Moritz Knolle, Erstautor der Studie und Wissenschaftler an der Technischen Universität München (TUM). Während die Angriffe für einen großen Teil der Datensätze erfolglos waren, konnten manche Patientinnen und Patienten mit nahezu hundertprozentiger Wahrscheinlichkeit den Modellen zugeordnet werden. „Das ist kein verschmerzbares Risiko. Gesundheitsdaten sind hochsensibel“, sagt Daniel Rückert, Professor für KI und Informatik in der Medizin an der TUM und gemeinsam mit Prof. Georg Kaissis (HPI) Letztautor der Studie.
Unterschiedliche Datentypen bei den Angriffen berücksichtigt
Die Forschenden attackierten KI-Modelle, die auf sieben etablierten Medizin-Datensätzen basierten. Grundlage für die Modelle waren jeweils unterschiedliche Datentypen wie Bildgebungsdaten, Kardiogramme oder elektronische Patientenakten. Georg Kaissis, Professor für Digital Health: Human-Centered Transformative AI am Hasso-Plattner-Institut, erläutert: „Ein Angreifer braucht drei Dinge, um eine MIA auszuführen. Erstens braucht man Zugriff auf das KI-Modell, das angegriffen werden soll, etwa über das Netzwerk einer Klinik. Zweitens braucht man Zugriff auf einen Datenpunkt, von dem man wissen will, ob er ins Modell eingeflossen ist. Vorstellbar wäre beispielsweise, dass solche Datenpunkte bei einem Hackerangriff erbeutet werden. Drittens braucht man eigene KI-Infrastruktur – Rechner, auf denen KI-Modelle laufen, die auf dem gleichen Datentyp basieren wie das attackierte Modell.“
Mit diesem Setup ließe sich beispielsweise ein KI-Modell angreifen, das aus Blutbildern die Erfolgsaussichten für eine Krebs-Immuntherapie ableitet. Für sich genommen gibt das Blutbild keine Auskunft über eine Erkrankung. Kann ein Angreifer aber zeigen, dass ein Datenpunkt in das Modell eingeflossen ist, lässt sich mit größerer Wahrscheinlichkeit sagen, dass die Patientin oder der Patient an Krebs erkrankt ist oder war.
Angriffe auf KI-Modelle: Mögliche Folgen für Betroffene
Solche digitalen Attacken können schwerwiegende reale Folgen haben, das macht Moritz Knolle an einem fiktiven Beispiel deutlich: „Stellen Sie sich vor, Sie wurden wegen einer Krebserkrankung behandelt und haben Ihre Daten für die Forschung zur Verfügung gestellt“, sagt der Medizininformatiker. „Jahre später – der Krebs ist seitdem nicht wieder aufgetreten – wollen Sie eine private Zusatzversicherung abschließen. Nun hat aber ein Angreifer herausgefunden, dass Ihre Daten für das Training eines Modells zur Tumoranalyse verwendet wurden. Diese Information gelangt an den Versicherer, zum Beispiel über Datenanalysen von Drittanbietern oder entsprechende Risikoprofile. Sie werden daraufhin als Hochrisikopatient mit den entsprechenden Beiträgen eingestuft – und erfahren unter Umständen nie den Grund dafür.“
Die MIAs waren besonders häufig erfolgreich, wenn attackierte Individuen zu einer Gruppe gehörten, die in dem Datenset nur wenig vertreten war. Das können bestimmte Merkmale der Organe in der Bildgebung sein, aber auch Daten von Minderheiten. „Das ist besonders schwerwiegend, weil Diskriminierung durch KI auch in der Medizin eine Rolle spielt und beispielsweise manche Modelle weniger genauere Vorhersagen treffen, wenn die Patientin oder der Patient einer Minderheit angehört“, sagt Daniel Rückert.
Stand: 16.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die WIN-Verlag GmbH & Co. KG, Chiemgaustraße 148, 81549 München einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://kontakt.vogel.de/de/win abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.
Leistungsstarke KI-Modelle besonders betroffen
Die Forscher konnten zeigen, dass die Attacken umso erfolgreicher waren, je größer und komplexer das Modell war. Dass gerade leistungsfähige Modelle angreifbar sind, zeigt aus Sicht der Forschenden, dass sich die Problematik in den kommenden Jahren ohne Gegenmaßnahmen deutlich verschärfen könnte. Sie sprechen sich daher dafür aus, die Risiken neuer Modelle vor deren Veröffentlichung künftig immer auf Ebene der Individuen zu überprüfen. Weitere Gegenmaßnahmen sind eine strenge Kontrolle des Zugangs zu KI-Modellen. „Es gibt außerdem bereits heute effektive Schutzmaßnahmen gegen MIAs, die direkt beim Trainieren der Modelle zum Einsatz kommen können. Beispielsweise werden bei der Differential Privacy kleine Veränderungen in die Trainingsdaten eingebaut, die die Berechnungen des Modells nicht stören, aber eine MIA deutlich erschweren“, sagt Georg Kaissis.