Anbieter zum Thema

CHINABRAND Consulting Ltd Ndl. München

FIS Informationssysteme und Consulting GmbH

Kendox AG

Yorizon GmbH & Co. KG

5. Open-Weight-Modelle: Fine-Tuning mit klarem Ziel

Das Fine-Tuning wird häufig überschätzt. Es eignet sich, um Ausgabeformate, Fachsprache oder wiederkehrende Verhaltensmuster anzupassen. Es ist dagegen kein guter Ersatz für eine aktuelle Wissensbasis. Fakten, die sich regelmäßig ändern, gehören in RAG oder strukturierte Datenquellen. Vor einem Fine-Tuning müssen Herkunft, Zulässigkeit und Qualität der Trainingsbeispiele geklärt sein. Nach jeder Anpassung ist eine erneute Evaluierung erforderlich, denn eine Verbesserung in einem Bereich kann Fähigkeiten in einem anderen verschlechtern.

Adapterverfahren wie LoRA erleichtern die technische Anpassung, lösen aber nicht die Governance-Frage. Auch ein kleiner Adapter ist ein produktives KI-Artefakt. Er benötigt Herkunftsnachweis, Freigabe, Sicherheitsprüfung und einen definierten Rückweg zur vorherigen Version.

6. Open-Weight-Modelle: Agentenrechte radikal begrenzen

Der größte Sicherheitssprung entsteht, sobald ein Modell nicht nur antwortet, sondern Werkzeuge ausführt. Ein Agent kann Dateien lesen, Datenbanken abfragen, Tickets anlegen oder Code verändern. Das Modell wird damit Teil der Zugriffskontrolle des Unternehmens. Werkzeuge sollten deshalb über eng definierte Schnittstellen bereitgestellt werden. Ein Agent erhält keine generische Shell und keine pauschalen Datenbankrechte, wenn eine begrenzte Funktion ausreicht. Lese- und Schreibrechte sind zu trennen. Folgenreiche Aktionen benötigen eine menschliche Freigabe oder eine zweite technische Kontrollinstanz.

Prompt Injection muss als regulärer Angriffsweg behandelt werden. Externe Webseiten, E-Mails und Dokumente können Anweisungen enthalten, die den Agenten zu unerlaubten Handlungen bewegen. Inhalte aus solchen Quellen gelten daher als nicht vertrauenswürdig. Systemanweisungen, Nutzereingaben, abgerufene Dokumente und Werkzeugergebnisse müssen technisch getrennt und entsprechend gekennzeichnet werden.

7.Vor dem Go-live systematisch evaluieren

Ein erfolgreicher Chat mit dem Modell ist kein Abnahmetest. Unternehmen benötigen ein eigenes Testset aus realen Aufgaben, Grenzfällen, unerlaubten Anfragen und absichtlich manipulierten Eingaben. Gemessen werden fachliche Richtigkeit, Quellenqualität, Robustheit, Latenz, Kosten und die Einhaltung von Berechtigungen. Wichtige Tests müssen mehrfach ausgeführt werden, weil Ergebnisse trotz gleicher Aufgabe variieren können. Neben automatischen Kennzahlen ist eine fachliche Bewertung erforderlich.

Für Agenten kommen Szenariotests hinzu. Was geschieht, wenn ein Werkzeug ausfällt, ein Dokument widersprüchliche Angaben enthält oder eine Aufgabe nicht abgeschlossen werden kann? Das System muss kontrolliert abbrechen können. Ein unsicherer Agent darf nicht durch immer neue Versuche zusätzliche Schäden verursachen.

8.Open-Weight-Modelle: Betrieb und Updates von Anfang an planen

Nach dem Go-live beginnt die eigentliche Arbeit. Modell, Laufzeit, Treiber, Bibliotheken, RAG-Index und Sicherheitsregeln verändern sich unabhängig voneinander. Jede Änderung kann Qualität, Latenz oder Werkzeugverhalten beeinflussen. Deshalb braucht die Plattform ein gemeinsames Versions- und Änderungsmanagement. Überwacht werden sollten GPU-Auslastung, Warteschlangen und Antwortzeiten, aber auch Nutzerfeedback, abgebrochene Aufgaben, fehlende Quellen und ungewöhnliche Werkzeugaufrufe. Protokolle müssen für Audits ausreichen, dürfen aber nicht unkontrolliert sensible Inhalte sammeln.

Neue Versionen der Open-Weight-Modelle werden zunächst parallel getestet. Ein schrittweiser Rollout mit begrenzten Nutzergruppen ist sicherer als ein vollständiger Austausch. Für jede produktive Version müssen Rollback, Incident Response und Abschaltung vorbereitet sein. Das NIST AI Risk Management Framework empfiehlt ausdrücklich Überwachung nach der Bereitstellung, Wiederherstellung und Change Management.

Open-Weight-Modelle: Vom Projekt zur Unternehmensplattform

Die erfolgreiche Implementierung chinesischer Open-Weight-Modelle ist weniger ein Downloadprojekt als der Aufbau einer neuen Plattformfähigkeit. Unternehmen benötigen Kompetenzen für Modellbetrieb, Datenintegration, Evaluierung, Cybersicherheit und Governance. Diese Aufgaben lassen sich nicht dauerhaft bei einem einzelnen Innovationsteam abladen.

Der beste Einstieg ist ein begrenzter, überprüfbarer Anwendungsfall mit echtem Geschäftsnutzen. Darauf folgt eine entkoppelte Architektur, in der Modell, Wissen, Werkzeuge und Benutzerrechte getrennt kontrolliert werden. Erst wenn Evaluierung, Monitoring und Rückfallverfahren funktionieren, sollte der Einsatz auf weitere Prozesse ausgeweitet werden.

Open Weight gibt Unternehmen Kontrolle über eine zentrale Komponente. Ob daraus digitale Souveränität entsteht, entscheidet jedoch die Implementierung. Wer Modelle wie GLM 5.2 als regulären Bestandteil der IT-Landschaft behandelt, mit denselben Anforderungen an Architektur, Sicherheit und Betrieb wie andere kritische Plattformen, kann ihre Offenheit nutzen, ohne neue unbeherrschte Abhängigkeiten zu schaffen.

Die häufigsten Implementierungsfehler

Viele Projekte scheitern nicht an der Modellqualität, sondern an falschen Abkürzungen Hierzu gehören:

• Das leistungsfähigste Modell wird ausgewählt, bevor Anforderungen und Gesamtkosten feststehen.

• Vertrauliche Dokumente werden ohne Klassifikation und Berechtigungsprüfung in eine Vektordatenbank geladen.

• Ein Pilot erhält weitreichende Systemrechte, weil die Sicherheitsarchitektur „später“ ergänzt werden soll.

• Benchmarks des Herstellers ersetzen Tests mit eigenen Daten und Prozessen.

• Fine-Tuning wird eingesetzt, obwohl eine gepflegte Wissensbasis das eigentliche Problem lösen würde.

• Modellgewichte, Adapter und Container werden nicht auf Herkunft und Integrität geprüft.

• Protokollierung sammelt sensible Inhalte ohne Zweckbindung und Löschkonzept.

• Für Updates, Qualitätsverlust und Rückkehr zur vorherigen Version gibt es keinen Plan.