Anbieter zum Thema

Rödl Rechtsanwaltsgesellschaft Steuerberatungsges. mbH

CADFEM Germany GmbH

d.velop AG

Esker Software Entwicklungs-und Vertrieb

Bundesregierung reagiert – aber die Herausforderung ist international

Auch die Bundesregierung beschäftigt sich inzwischen auf höchster sicherheitspolitischer Ebene mit dem Thema. Der Nationale Sicherheitsrat hat sich bereits mehrfach mit den Auswirkungen fortgeschrittener KI-Modelle auf die Sicherheit Deutschlands beschäftigt. Im Juni wurde der Aufbau eines nationalen KI-Sicherheitsinstituts beschlossen. Es soll Fähigkeiten und Risiken moderner Modelle untersuchen und sich mit vergleichbaren Institutionen anderer Staaten vernetzen. Am 14. September bestätigte die Bundesregierung erneut, die aktuellen Warnungen „sehr ernst“ zu nehmen. Gleichzeitig lehnt sie einen Entwicklungsstopp für Europa ab und verweist auf die Notwendigkeit internationaler Zusammenarbeit.

Hier liegt möglicherweise die schwierigere Ebene des Problems. Die weltweit leistungsfähigsten Modelle werden derzeit maßgeblich von Unternehmen außerhalb der Europäischen Union entwickelt. Ein europäisches Sicherheitsregime kann zwar über den Marktzugang erhebliche Wirkung entfalten. Systemische Risiken hochentwickelter KI sind aber ihrer Natur nach kaum an Staatsgrenzen gebunden.

Genau an dieser Stelle treten erhebliche politische Unterschiede zutage. US-Präsident Donald Trump hat die aktuellen Warnungen vor außer Kontrolle geratener KI am 14. September öffentlich als „hoax“ zurückgewiesen und zusätzliche regulatorische Vorgaben abgelehnt. Er argumentiert insbesondere mit dem internationalen Technologiewettbewerb und dem Risiko, die USA gegenüber China zu schwächen.

Auch China hat auf die aktuelle Debatte reagiert. Das chinesische Außenministerium kritisierte Teile der amerikanischen Diskussion als „fearmongering“, Konfrontation und schädlichen Wettbewerb, sprach sich zugleich aber grundsätzlich für internationale Zusammenarbeit bei der KI-Governance aus.

Für die meisten Unternehmen ist die Diskussion über einen möglichen globalen Kontrollverlust ohnehin nicht der richtige Ausgangspunkt. Sie sollten sich vielmehr mit den Risiken beschäftigen, die sich bereits heute konkret aus dem Einsatz zunehmend autonomer KI-Systeme ergeben.

Johannes M. Holz, LL.M., ist Partner bei Rödl

Damit zeigt sich das eigentliche Dilemma: Je leistungsfähiger KI-Modelle werden und je stärker ihre Risiken grenzüberschreitende Auswirkungen haben können, desto weniger lassen sich diese Risiken ausschließlich durch nationale oder europäische Regulierung beherrschen. Gleichzeitig treffen Sicherheitsinteressen auf erhebliche wirtschaftliche und geopolitische Interessen.

Das erklärt, warum die Frage einer globalen KI-Governance derzeit wesentlich schwieriger zu beantworten ist als die Frage, ob Europa überhaupt über regulatorische Instrumente verfügt.

Checkliste

EU AI Act: Unternehmen müssen bei ihrer KI-Kompetenz nachlegen

Was bedeutet das für Unternehmen?

Für die meisten Unternehmen ist die Diskussion über einen möglichen globalen Kontrollverlust ohnehin nicht der richtige Ausgangspunkt. Sie sollten sich vielmehr mit den Risiken beschäftigen, die sich bereits heute konkret aus dem Einsatz zunehmend autonomer KI-Systeme ergeben.

Je stärker ein KI-System selbstständig auf Daten, Anwendungen und technische Systeme zugreifen und Aktionen ausführen kann, desto größer wird das Schadenspotenzial einer Fehlfunktion oder eines erfolgreichen Angriffs. Ein klassischer Chatbot, der lediglich Texte generiert, hat ein anderes Risikoprofil als ein KI-Agent, der Zugriff auf E-Mail-Konten, Cloud-Systeme, Entwicklungsumgebungen, Datenbanken oder Zahlungssysteme besitzt.

Ergänzend ist auch der Faktor Mensch zu berücksichtigen: Die eigenen Mitarbeiter sollten im Umgang mit den eingesetzten KI-Systemen geschult werden, damit sie deren Funktionsweise, Grenzen und Risiken verstehen, Fehlfunktionen oder Fehlverhalten der Systeme erkennen können und mit den vorgesehenen Eskalations- und Stoppmechanismen vertraut sind. Nur so lässt sich sicherstellen, dass die technischen und organisatorischen Schutzmaßnahmen im Ernstfall auch tatsächlich greifen.

Hinzu kommt ein Punkt, der in der gegenwärtigen Debatte gelegentlich untergeht: KI-Governance und Cybersecurity lassen sich bei agentischen Systemen kaum noch getrennt betrachten. Wer einem KI-System Zugriff auf Unternehmenssysteme einräumt, schafft damit auch einen neuen privilegierten technischen Akteur innerhalb seiner Infrastruktur.

Dementsprechend müssen bestehende Informationssicherheits-, Datenschutz- und Incident-Response-Prozesse um KI-spezifische Szenarien ergänzt werden. Gleichzeitig ist zu prüfen, welche Rolle das eigene Unternehmen nach dem AI Act einnimmt und welche gesetzlichen Anforderungen für den konkreten Anwendungsfall gelten.

Serie: Human in the Loop

Human in the Loop: Der Weg vom Jobtitel zur KI-Kompetenz

KI-Sicherheit: Keine Panik – aber auch kein regulatorisches Neuland

Die aktuelle Sicherheitsdebatte sollte deshalb weder bagatellisiert noch dramatisiert werden. Dass leistungsfähigere und zunehmend autonome KI-Systeme neue Cybersecurity- und Missbrauchsrisiken erzeugen, lässt sich inzwischen konkret beobachten. Wie weit diese Entwicklung reicht und ob daraus tatsächlich die teilweise prognostizierten existenziellen Risiken entstehen können, ist dagegen offen.

Rechtlich ist die Ausgangslage in Europa wesentlich klarer, als manche Diskussion vermuten lässt. Der AI Act enthält bereits Instrumente zur Bewertung und Begrenzung systemischer Risiken besonders leistungsfähiger Modelle. Europa steht daher nicht vor der Aufgabe, erstmals ein Sicherheitsregime für solche Systeme zu erfinden.

Die kommenden Jahre werden vielmehr zeigen, ob das vorhandene Instrumentarium technisch mit der Entwicklung leistungsfähiger KI Schritt halten kann, wie konsequent es durchgesetzt wird und ob sich international vergleichbare Sicherheitsstandards etablieren lassen.

Für Unternehmen ist die Schlussfolgerung deutlich pragmatischer: Sie müssen nicht entscheiden, ob KI irgendwann eine existentielle Gefahr für die Menschheit darstellen wird. Sie müssen heute entscheiden, welchen Systemen sie welche Daten, Berechtigungen und Handlungsmöglichkeiten anvertrauen – und welche Kontrolle sie darüber behalten.