Large Language Models GenAI: Größere Sprachmodelle sind nicht immer besser

Anbieter zum Thema

Dell GmbH

Softeq Development GmbH

ChatGPT, Dall-E und andere GenAI-Tools begeistern mit ihren generativen Fähigkeiten, und viele Unternehmen wollen diese im Geschäftsalltag nutzen, um Prozesse zu beschleunigen. Schaut man sich die hinter solchen Tools stehenden Large Language Models an, kennt die Entwicklung nur eine Richtung: immer größer.

Mehr Parameter und Trainingsdaten sorgen für ein besseres Sprachverständnis und wachsendes Wissen, sodass leicht der Eindruck entstehen kann, bei generativer KI käme es allein auf die Größe der Sprachmodelle an. Ganz so einfach ist es allerdings nicht, denn mit der Modellgröße nimmt auch der Bedarf an Rechenleistung und damit der Stromverbrauch zu – und das sowohl beim Training und Fine-Tuning als auch beim anschließenden Betrieb der GenAI. Zudem bringen die Verbesserungen des Modells oft keinen oder nur einen geringen geschäftlichen Nutzen, sodass sich die Investitionen in leistungsstärkere Hardware und zusätzlichen Strom kaum auszahlen.

Verzögerung der Einführung von GenAI-Projekten

Vielen Unternehmen ist nicht bewusst, dass sie mit kleineren Modellen und weniger Daten oft besser beraten wären. Sie glauben, sie müssten ein möglichst großes Modell wählen und mit möglichst vielen Informationen füttern, um die besten Ergebnisse zu erhalten. Daher schaffen sie entweder überdimensionierte Hardware an oder verzögern ihre GenAI-Initiativen, weil sie die Kosten scheuen.

In beiden Fällen wäre eine vorherige Beratung durch einen erfahrenen IT-Dienstleister sinnvoll, der bei der Auswahl geeigneter Modelle, Trainingsdaten und Systeme unterstützt. Schließlich kommt es in den meisten Anwendungsfällen gar nicht so sehr auf das breite Allgemeinwissen von Large Language Models an, sondern eher auf unternehmens- oder fachspezifisches Know-how. Dieses Know-how können Unternehmen einem kleineren, idealerweise schon mit Spezialwissen vortrainierten Modell mittels Fine-Tuning beibringen oder via Retrieval Augmented Generation (RAG) zum Nachschlagen zur Verfügung stellen.

Validierte Designs bei der Auswahl Hardware- und Software-Komponenten

Geschickt ausgewählte Datensätze und Dokumente sorgen dafür, dass das Modell beim Fine-Tuning nicht mit nutzlosen Informationen überfrachtet wird und die Hardware-Anforderungen überschaubar bleiben. Gerade anfangs, in der Experimentierphase, reicht oft eine leistungsstarke Workstation, auch wenn diese vielleicht ein paar Stunden länger als ein richtiger KI-Server benötigt. Ein solcher lässt sich später immer noch anschaffen, wenn die Experimente erfolgversprechend waren und die Pläne für den Einsatz im Tagesgeschäft konkret werden. Setzen Unternehmen dann auf validierte Designs, die bewährte Hardware- und Software-Komponenten in der optimalen Konfiguration zusammenführen, sparen sie sich aufwendige Integrationen und Tests und können sich darauf verlassen, dass die Systeme gut skalieren und bei Bedarf mitwachsen.

Überhaupt sollten Unternehmen beim KI-Einstieg nicht gleich den ganz großen Wurf versuchen, sondern sich zunächst auf kleinere Projekte fokussieren – etwa ein Tool, das lange E-Mail-Konversationen zusammenfasst oder bei Support-Anfragen die benötigten Informationen aus technischen Dokumenten zusammensucht. Selbst wenn diese Tools nur eine überschaubare Zeitersparnis bringen, summiert sich das bei regelmäßiger Nutzung rasch auf und hilft den Mitarbeitern enorm. Zudem lassen sich entsprechende Initiativen deutlich schneller, kostengünstiger und risikoärmer umsetzen als Mega-Projekte, sodass Erfolgserlebnisse nicht lange auf sich warten lassen.

KI-Integration

GenAI: Status-quo und Hindernisse bei der Einführung

GenAI: Training und Fine-Tuning der Modelle

Solche nützlichen Tools, die auf kleinen Modellen basieren, laufen in der Regel problemlos auf Standardrechnern – zumal diese inzwischen meist mit speziellen Komponenten wie NPUs für die Verarbeitung natürlicher Sprache oder für Bildanalysen ausgestattet sind und KI-Berechnungen sehr effizient durchführen können. Damit lohnt der Griff zum kleineren Modell gleich doppelt, sei es durch das ressourcenschonende Training und Fine-Tuning der Modelle oder durch das schnelle Ausführen der GenAI-Anwendungen.

Natürlich gibt es auch Anwendungsfälle, die nach Large Language Models mit mehreren hundert Milliarden Parametern und einem Fine-Tuning mit riesigen internen Datenmengen verlangen. Doch die können Unternehmen auch später angehen, wenn sie Erfahrungen in kleineren Projekten gesammelt haben. Bei denen geht es im Grunde vor allem darum, Modell und Trainingsdaten so auszuwählen, dass sie umfangreich genug sind, um die gewünschten Ergebnisse zu liefern – aber eben auch nicht größer, um die Kosten nicht unnötig in die Höhe zu treiben.