Moderne NLP-Modelle und LLMs haben trotz ihrer hohen Leistungsfähigkeit spezifische Schwächen: Erstens sind sie Black Boxes: Parameter proprietärer Modelle sind überhaupt nicht zugänglich; und selbst nicht-proprietäre Modelle sind weitgehend undurchsichtig in dem Sinne, dass es unklar ist, wo genau spezifisches Wissen in potenziell Milliarden von Parametern kodiert ist. Zweitens besteht die Tendenz, die Größe der LLMs und der Trainingsdaten immer weiter zu erhöhen, um die Leistung zu verbessern, was vor allem bei Domänen oder Sprachen mit weniger Ressourcen problematisch ist.
Die E&E-Gruppe des Forschungsbereichs Sprachtechnologie und Multilingualität arbeitet an transparenten und effizienten NLP-Modellen. Unser Ziel ist es, die Parameter und das Verhalten von LLMs sowohl für Endbenutzer als auch für Forscher erklärbar und verständlich zu machen. Wir versuchen, LLMs im Hinblick auf den Datenverbrauch zu verbessern, z. B. für Bereiche oder Sprachen, in denen Daten knapp sind, indem wir strukturierte Daten, neue Lerntechniken oder andere Modalitäten verwenden; und im Hinblick auf die Modellgröße, z. B. für Umgebungen, in denen keine leistungsstarke Hardware verfügbar ist.
Wir sind an Twinning-Projekten beteiligt, bei denen wir einen Wissenstransfer sowohl zu Forschungsthemen als auch zum Projektmanagement an neu gegründete Forschungseinrichtungen in ganz Europa leisten. Wir sind an europäischen Procurement-Projekten beteiligt, die sich auf Sprachressourcen konzentrieren, wie z. B. die European Language Resource Coordination und der Language Data Space.
“Bridging the technology gap: Integrating Malta into European Research and Innovation efforts for AI-based language technologies”.
H2020-WIDESPREAD-2020-5 Grant Agreement No. 952194
Improving scientific excellence and creativity in combating disinformation with artificial intelligence and language technologies.
Eliciting and Exploiting Procedural Knowledge in Industry 5.0.
Das PERKS-Projekt unterstützt die ganzheitliche Steuerung von industriellem prozeduralem Wissen (PK) in seinem gesamten Lebenszyklus, von der Erhebung bis zum Management und vom Zugang bis zur Nutzung.
Laufzeit: 01.05.2020–30.06.2021
Beratungsdienste für die Gesellschaft für Internationale Zusammenarbeit (GIZ) zu technischen Aspekten der KI in der internationalen Zusammenarbeit einschließlich Verarbeitung natürlicher Sprache (NLP), Trainingsdaten und Datenzugang für FAIR Forward - Künstliche Intelligenz für alle. GIZ Project No. 19.2010.7-003.00
Im Projekt XAINES soll nicht nur die Erklärbarkeit sichergestellt werden, sondern darüber hinaus Erklärungen (Narrative) bereitgestellt werden. Die zentrale Frage dabei ist, ob die KI in einem Satz erklären kann, warum sie so gehandelt hat oder ob sie es dem Nutzer interaktiv erklären muss. Um dies zu klären ist einer der Projektschwerpunkte die Erforschung von narrativen und interaktiven Erzählungen, welche besonders für Menschen geeignet sind, um Wissen in jedweder Form aufzunehmen, in ihrer Anwendung mit KI-Systemen.
Teamleitung:
Dr. Simon Ostermann
simon.ostermann@dfki.de
Gruppenmitglieder:
Yusser al Ghussin
Tatiana Anikina
Tanja Bäumel
Róbert Belanec (Guest Researcher)
Rishu Kumar
Cennet Oguz
Stefania Racioppa
Soniya Vijayakumar
Masteranden und Hilfswissenschaftler:
Konstantin Chernyshew
Daniil Gurgurov