Sicherheitsvorfall bei OpenAI OpenAI-Vorfall: GPT-5.6 Sol nutzte Zero-Day-Schwachstelle

Anbieter zum Thema

Trend Micro Deutschland GmbH

FIS Informationssysteme und Consulting GmbH

Esker Software Entwicklungs-und Vertrieb

Yorizon GmbH & Co. KG

OpenAI hat jetzt einen Sicherheitsvorfall in der vergangenen Woche mit Hugging Face bestätigt. Hierbei nutzte das GPT-5.6 Sol und ein noch unveröffentlichtes KI-Modell eine Zero-Day-Schwachstelle und erbeutete Zugangsdaten, um auf Produktivsysteme von Hugging Face zuzugreifen.

Bei einem internen Test zur Bewertung von Cyber-Fähigkeiten nutzte das Modell GPT-5.6 Sol sowie ein noch unveröffentlichtes, leistungsfähigeres Modell von OpenAI eine Zero-Day-Schwachstelle und erbeutete Zugangsdaten, um aus der eigenen Sandbox auszubrechen und auf die Produktivsysteme von Hugging Face zuzugreifen – mit dem Ziel, dort die Lösungen des Benchmarks abzugreifen. Zwei Security-Experten von TrendAI, dem Enterprise-Geschäftsbereich vom Trend Micro, ordnen den von OpenAI gemeldeten Vorfall ein – jenseits des in vielen Schlagzeilen zitierten Narrativs der „eigenmächtig handelnden KI“.

Hat das KI-Modell wirklich eigenmächtig gehandelt?

Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI, erklärt, wer die Verantwortung für den Vorfall trägt: „Das Narrativ der eigenmächtig handelnden KI ist effizient darin, Verantwortung abzuwälzen. Was tatsächlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber-Operationen fähig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eindämmung ist gescheitert. Der Agent ist ausgebrochen, hat Zugangsdaten gestohlen, eine unbekannte Schwachstelle gefunden und ist in die Systeme von Hugging Face eingedrungen.

Niemand hat ihm befohlen, gezielt Hugging Face anzugreifen, aber darum geht es nicht. OpenAI hat sich entschieden, diese Fähigkeit zu bauen, hat die Testbedingungen festgelegt, hat das Sandboxing definiert, das letztlich nicht gehalten hat. Von beispiellos und eigenmächtigem Handeln zu sprechen, beschreibt den Mechanismus, nicht die Verantwortung. Es ist, als würden Sie eine autonome Waffe bauen, diese auf einem vermeintlich sicheren Testgelände erproben, sie außer Kontrolle geraten und jemanden treffen lassen – und der Welt anschließend erklären, die Waffe hat eigenständig gehandelt. Technisch korrekt. Trotzdem: Ihre Waffe, Ihr Testgelände, Ihr Versagen.“

OpenAI hat sich entschieden, diese Fähigkeit zu bauen, hat die Testbedingungen festgelegt, hat das Sandboxing definiert, das letztlich nicht gehalten hat.

Richard Werner, TrendAI

Guardrails für KI-Entwicklung lösen das Problem nicht

Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI, erklärt, warum Guardrails allein das Problem nicht lösen: „Sagt man einem Agenten, er solle eine Aufgabe auf jede erdenkliche Weise lösen, wird er das wörtlich nehmen. Mit ausreichend Autonomie und Zeit wird er in Infrastruktur vordringen, die er nie hätte berühren sollen: alte Passwörter, verwaiste Zugangsdaten, vergessene API-Keys. Nicht, weil man es ihm gesagt hat, sondern weil er im Streben nach dem vorgegebenen Ziel schlicht alles Verfügbare ausprobiert hat. Sprache öffnet diese Tür standardmäßig.

Die beiden naheliegenden Lösungsansätze greifen jeweils nur teilweise: Human-in-the-Loop-Kontrolle funktioniert, skaliert aber nicht für die langlaufenden, komplexen Workflows, in denen genau solche Vorfälle entstehen. Engere Guardrails im Modell oder in den Prompts helfen, garantieren aber nichts: Es handelt sich um probabilistische, keine deterministischen Systeme. Ein Guardrail ist eine starke Wahrscheinlichkeitsannahme, keine Mauer.

Deshalb zählen die unspektakulären, nicht-KI-spezifischen Kontrollen mehr als die KI selbst: Zugriffsfilterung, Kontrolle darüber, was überhaupt als Input beim Modell ankommt, Sandboxes, die tatsächlich halten, und Berechtigungskonzepte nach dem Prinzip der geringsten Rechte (Least-Privilege-Prinzip). Vor allem: Ein Agent sollte niemals einfach als ‚der Nutzer‘ laufen und dabei sämtliche Zugangsdaten und Berechtigungen erben. Er sollte als er selbst laufen – beschränkt auf genau das, was die Aufgabe erfordert.“

Human-in-the-Loop-Kontrolle funktioniert, skaliert aber nicht für die langlaufenden, komplexen Workflows, in denen genau solche Vorfälle entstehen.

Udo Schneider, TrendAI

Der Vorfall zeigt erstmals unter realistischen Bedingungen, welche Risiken entstehen können, wenn autonome KI-Agenten mit weitreichenden Systemrechten arbeiten. Nicht ein externer Angreifer, sondern ein interner Benchmark-Test führte zu über 17.000 autonomen Aktionen, der Ausnutzung einer Zero-Day-Schwachstelle und einem Zugriff auf Produktivsysteme. Für Unternehmen, die agentenbasierte KI einsetzen oder planen, rückt damit weniger die Leistungsfähigkeit der Modelle als die Absicherung ihrer Einsatzumgebung in den Mittelpunkt.

Schwachstellen in KI-Systemen

KI-Sicherheit: TrendAI und Anthropic vereinbaren Partnerschaft