KI-Sprachmodelle Fraunhofer IAIS gelingt Durchbruch bei KI-Forschung 

Anbieter zum Thema

Fraunhofer-Institut IAIS

d.velop AG

xSuite Group GmbH

Esker Software Entwicklungs-und Vertrieb

Das Fraunhofer-Institut IAIS und die NLU-Gruppe von AI Sweden erhalten gemeinsam im Rahmen des Projekts „EuroLingua-GP“ Rechenkapazitäten am neuen Hochleistungsrechner MareNostrum 5 im Barcelona Supercomputing Center, um große europäische KI-Sprachmodelle zu entwickeln.

Bei der Vereinbarung handelt sich um eines der größten Kontingente, die seitens des Gemeinsamen Unternehmens für europäisches Hochleistungsrechnen (GU EuroHPC) für die Entwicklung europäischer großer KI-Sprachmodelle (LLMs) auf der EuroHPC-Infrastruktur gewährt wurden. Ab Ende Mai 2024 starten das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS und die NLU-Gruppe von AI Sweden damit, die ersten multilingualen Modelle zu rechnen. Laufzeit des Projekts „EuroLingua-GP“ ist ein Jahr. Damit rücken nun auch große europäische KI-Sprachmodelle auf Open-Source-Basis in greifbare Nähe. 

KI-Sprachmdodelle beschleunigen Einsatz generativer KI

Das über einen EuroHPC „Extreme Scale Access“ bewilligte Kontingent umfasst 8,8 Millionen GPU-Stunden auf H100-Chips und steht seit Mai 2024 bereit. „Die gewonnenen Rechenkapazitäten sind ein Meilenstein für Deutschland und Europa. Die damit trainierten Modelle werden den Einsatz generativer KI in Unternehmen massiv beschleunigen und sowohl Wirtschaft als auch Wissenschaft einen Boost geben – GenAI made in Europe wird damit konkret“, erklärt Dr. Joachim Köhler, Abteilungsleiter NetMedia am Fraunhofer IAIS. Mit den neuen Rechenkapazitäten können kleine Modelle im Bereich von 7 bis 34 Milliarden Parametern, und große Modelle mit bis zu 180 Milliarden Parametern von Grund auf trainiert werden.

Eine Modellfamilie, die alle europäischen Sprachen abdeckt

Die neuen EuroLingua-Modelle bauen auf einem Trainingsdatensatz auf, der aus 45 europäischen Sprachen, Dialekten und Code besteht, einschließlich der 24 europäischen Amtssprachen. Damit liegt eine signifikante Gewichtung auf europäischen Sprachen und Werten – bisher sind multilinguale KI-Sprachmodelle noch selten. Das Training startet Ende Mai 2024. Die Veröffentlichung erster gemeinsamer Modelle soll im Laufe der kommenden Monate erfolgen.  

Projektleiter Dr. Nicolas Flores-Herr, Teamleiter Conversational AI am Fraunhofer IAIS, erläutert: „Das Ziel unserer Zusammenarbeit mit AI Sweden ist es, eine Familie von großen KI-Sprachmodellen von Grund auf zu trainieren, die Open Source veröffentlicht werden sollen.“ Magnus Sahlgren, Head of Research NLU bei AI Sweden, ergänzt: „Sowohl der öffentliche als auch der private Sektor in der EU verlangen nach offenen, leistungsfähigen Sprachmodellen, die für europäische Sprachen trainiert sind. EuroLingua ist eine Möglichkeit, diesen Bedarf zu adressieren.“

Entwicklung der KI-Sprachmodelle auf der EuroHPC-Infrastruktur

Die KI-Sprachmodelle, die auf der EuroHPC-Infrastruktur entwickelt werden, sollen zum einen als generalistische Basismodelle Forschung und Wissenschaft fördern, zum anderen – etwa in gemeinsamen Transfer-Projekten – auch auf bestimmte Branchen oder Themengebiete spezialisiert für den produktiven Einsatz in Unternehmen oder öffentlichen Verwaltungen trainiert werden. Dafür bündeln beide Organisationen ihre Expertise: Das Fraunhofer IAIS und die NLU-Gruppe von AI Sweden sind zwei der führenden LLM-Labore in Europa mit ausgewiesener Expertise und jahrelanger Erfahrung in der Entwicklung von LLMs. 

Fraunhofer IAS leitet das vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderte Konsortialprojekt OpenGPT-X, in der ebenfalls große europäische, multilinguale Open-Source-Modelle entwickelt werden. Die NLU-Gruppe von AI Sweden hat das LLM GPT-SW3 für die skandinavischen Sprachen entwickelt. Die beiden Teams arbeiten auch gemeinsam an weiteren Open-Source-Community-Projekten. Zudem ist EuroLingua-GPT eines von drei großen laufenden EU-Projekten zu Sprachmodellen, an denen Fraunhofer IAIS und AI Sweden beteiligt sind. Die beiden anderen sind TrustLLM und Deploy AI.

Als Teil der größten Organisation für anwendungsorientierte Forschung in Europa ist das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS mit Sitz in Sankt Augustin/Bonn und einem Standort in Dresden eines der führenden Wissenschaftsinstitute auf den Gebieten künstliche Intelligenz, maschinelles Lernen und Big Data in Deutschland und Europa. Rund 380 Mitarbeiter unterstützen Unternehmen bei der Optimierung von Produkten, Dienstleistungen und Prozessen sowie bei der Entwicklung neuer digitaler Geschäftsmodelle. www.iais.fraunhofer.de
 AI Sweden ist das nationale Zentrum für angewandte KI in Schweden, mit Standorten im ganzen Land und in Montreal. AI Sweden bringt mehr als 120 Partner aus dem öffentlichen und privaten Sektor sowie aus dem akademischen Bereich zusammen. Gemeinsam investieren sie in die Entwicklung von Anwendungen und Ressourcen, um den Einsatz von KI zum Nutzen der schwedischen Gesellschaft und ihrer Wettbewerbsfähigkeit zu beschleunigen.

Generative KI

Neues Forschungsprojekt untersucht Chancen der KI in der Cybersicherheit