Sprachtechnologie und Multilingualität

Moderne NLP-Modelle und LLMs haben trotz ihrer hohen Leistungsfähigkeit spezifische Schwächen: Erstens sind sie Black Boxes: Parameter proprietärer Modelle sind überhaupt nicht zugänglich; und selbst nicht-proprietäre Modelle sind weitgehend undurchsichtig in dem Sinne, dass es unklar ist, wo genau spezifisches Wissen in potenziell Milliarden von Parametern kodiert ist. Zweitens besteht die Tendenz, die Größe der LLMs und der Trainingsdaten immer weiter zu erhöhen, um die Leistung zu verbessern, was vor allem bei Domänen oder Sprachen mit weniger Ressourcen problematisch ist.

Die E&E-Gruppe des Forschungsbereichs Sprachtechnologie und Multilingualität arbeitet an transparenten und effizienten NLP-Modellen. Unser Ziel ist es, die Parameter und das Verhalten von LLMs sowohl für Endbenutzer als auch für Forscher erklärbar und verständlich zu machen. Wir versuchen, LLMs im Hinblick auf den Datenverbrauch zu verbessern, z. B. für Bereiche oder Sprachen, in denen Daten knapp sind, indem wir strukturierte Daten, neue Lerntechniken oder andere Modalitäten verwenden; und im Hinblick auf die Modellgröße, z. B. für Umgebungen, in denen keine leistungsstarke Hardware verfügbar ist.

Wir sind an Twinning-Projekten beteiligt, bei denen wir einen Wissenstransfer sowohl zu Forschungsthemen als auch zum Projektmanagement an neu gegründete Forschungseinrichtungen in ganz Europa leisten. Wir sind an europäischen Procurement-Projekten beteiligt, die sich auf Sprachressourcen konzentrieren, wie z. B. die European Language Resource Coordination und der Language Data Space.

• Find-2-Find: Multitask Learning for Anaphora Resolution and Object Localization
  Cennet Oguz; Pascal Denis; Emmanuel Vincent; Simon Ostermann; Josef van Genabith
  In: Houda Bouamor; Juan Pino; Kalika Bali (Hrsg.). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Conference on Empirical Methods in Natural Language Processing (EMNLP), Singapore, Pages 8099-8110, Association for Computational Linguistics, 2023.
• Investigating the Encoding of Words in BERT's Neurons Using Feature Textualization
  Tanja Bäumel; Soniya Vijayakumar; Josef van Genabith; Günter Neumann; Simon Ostermann
  In: Yonatan Belinkov; Sophie Hao; Jaap Jumelet; Najoung Kim; Arya McCarthy; Hosein Mohebbi (Hrsg.). Proceedings of the 6th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP. Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP-2023), Singapore, Pages 261-270, Association for Computational Linguistics, 2023.
• InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations
  Nils Feldhus; Qianli Wang; Tatiana Anikina; Sahil Chopra; Cennet Oguz; Sebastian Möller
  In: Houda Bouamor; Juan Pino; Kalika Bali (Hrsg.). Findings of the Association for Computational Linguistics: EMNLP 2023. Conference on Empirical Methods in Natural Language Processing (EMNLP-2023), December 6-10, Singapore, Singapore, Association for Computational Linguistics, 12/2023.
• ELRC White Paper: Sustainable Language Data Sharing to Support Language Equality in Multilingual Europe
  Aivars Berzins; Khalid Choukri; Maria Giagkou; Andrea Lösch; Eileen Marra; Hélène Mazo; Stelios Piperidis; Mickaël Rigault; Lilli Smal; Josef van Genabith; et al.
  ISBN 978-3-943853-05-6, OVD.eu, Saarbrücken, 2019.