|
Berlin (ots) - - Forschungs- und Innovationsprojekt des KI-Kompetenzcenters der
Bundesdruckerei für Vergleich und Bewertung von mehr als 50 Sprachmodellen nach
Leistung, Sicherheit und demokratischen Werten
- Kooperation mit BSI und Fraunhofer-Institut AISEC zur Erarbeitung von
Sicherheitsevaluierungen für KI-Sprachmodelle für öffentlichen Sektor
- Vergleichsplattform für öffentliche Verwaltung im Einklang mit europäischen
Vorgaben
Die Bundesdruckerei GmbH veröffentlicht das Forschungsprojekt MÖVE: Der
Bewertungsrahmen "Modelle für die öffentliche Verwaltung evaluieren" ermöglicht
es Behörden, KI-Sprachmodelle systematisch zu vergleichen. Gängige
Modellvergleiche messen vor allem englisches Textverständnis, mathematische
Fähigkeiten oder allgemeines Weltwissen. Allerdings werden dabei im
Behördenalltag entscheidende Kriterien wie der Zugang zu nachvollziehbaren
Modellinformationen sowie Sicherheits- und Nachhaltigkeitsaspekte nicht
berücksichtigt. Das seit Januar 2025 laufende, bundesdruckereieigene Forschungs-
und Innovationsprojekt MÖVE ist der erste ganzheitliche KI-Modellvergleich, der
speziell für die Anforderungen der öffentlichen Verwaltung entwickelt wurde.
Behörden und öffentliche Einrichtungen können zukünftig einsehen, wie über 50
Sprachmodelle (Large Language Models, kurz LLMs) im Hinblick auf
Leistungsfähigkeit, Sicherheit, Nachhaltigkeit, Transparenz und die
Vereinbarkeit mit demokratischen Werten abschneiden. "Internationale Rankings
allein reichen für die Modellauswahl nicht. Ob Open Source oder proprietär -
entscheidend ist, wie ein Modell im konkreten Einsatzfall reagiert: im deutschen
Rechts- und Sprachkontext, verlässlich, sicher und wertekonform. MÖVE macht
genau das messbar", sagt Frederik Blachetta, Chief Technology, Data & Innovation
Officer (CTO) und Geschäftsführer der Bundesdruckerei-Gruppe.
MÖVE verbindet dafür erstmals technische Leistungsmessung und
Governance-Anforderungen in einem einheitlichen Framework. Grundlage sind neun
eigens entwickelte, deutschsprachige Testdatensätze aus dem realen
Verwaltungskontext. Dazu gehören juristische Texte, Verwaltungsdokumente und
Publikationen von Bundesministerien. Auf dieser Basis wurden zunächst sieben
Kriterien für die Bewertung von Sprachmodellen entwickelt. Dazu gehören neben
Leistungsaspekten wie die Fähigkeit zum Zusammenfassen von Texten, dem
Beantworten von Fragen oder die Analyse von Themen in verschiedenen Dokumenten
auch die Einbeziehung von Zielen und Werten der Europäischen Union.
Dafür analysiert MÖVE die Anzahl von Halluzinationen in KI-generierten Texten,
die Vereinbarkeit der Antworten mit demokratischen Grundwerten, eine effiziente
und ressourcenschonende Arbeitsweise und die Informations-Transparenz, die
GPAI-Modellanbieter gemäß der KI-Verordnung gewährleisten müssen.
Jedes Modell durchläuft auf Basis dieser Kriterien eine automatisierte
Bewertung. Die Ergebnisse fließen in einen interaktiven Online-Vergleich ein,
bei dem sich einzelne Kriterien gezielt ein- oder ausblenden lassen, sodass jede
Behörde individuell erkennen kann, welches Modell zu den eigenen Anforderungen
passt. Weitere Bewertungskriterien im Rahmen der Cybersicherheit befinden sich
bereits in der Entwicklung.
Mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) entwickelt die
Bundesdruckerei Verfahren zur Beurteilung in den Bereichen Cybersicherheit,
Robustheit und Faktentreue von Sprachmodellen weiter. Das Fraunhofer-Institut
für Angewandte und Integrierte Sicherheit (AISEC) bringt seine
wissenschaftlich-methodische Expertise in die kontinuierliche Weiterentwicklung
der Sicherheitskriterien ein. LLMs können zwar maßgeblich Maßnahmen zur
Cybersicherheit unterstützen, bergen jedoch gleichzeitig das Risiko, auch für
Cyberangriffe genutzt zu werden. Insbesondere Fortschritte von
Frontier-KI-Modellen beschleunigen dieses Risiko. Damit aus einem theoretischen
Szenario keine akute Bedrohung wird, ist eine frühzeitige Einordnung von
Entwicklungen unerlässlich.
Ein kontinuierliches Benchmarking ist dafür essenziell. "Sicherheit, die man
nicht messen kann, bleibt ein Bauchgefühl, auch im Bereich KI. Deswegen
entwickeln wir entsprechende Benchmarks als Grundlage für informierte
Entscheidungen", sagt Luise Kranich, Abteilungsleiterin Technologiestrategie und
Informationstechnik beim BSI.
Die Bewertungsmethodik hinter MÖVE ist als Open-Source-Repository frei
verfügbar, sodass die Vorgehensweise von Dritten nachvollzogen werden kann.
Zudem wird die Vorgehensweise in einem Forschungspaper detailliert erörtert.
Weitere Informationen zu MÖVE und der zugrundeliegenden Forschung finden Sie
unter https://moeve.bundesdruckerei.de/ .
Pressekontakt:
Marc Thylmann
Pressesprecher Bundesdruckerei GmbH
Tel.: +49 (0) 30 - 2598 2810
E-Mail: mailto:marc.thylmann@bdr.de
Weiteres Material: http://presseportal.de/pm/14611/6314210
OTS: Bundesdruckerei Gruppe GmbH
|
