Sprachtechnologie und Multilingualität

Moderne NLP-Modelle und LLMs haben trotz ihrer hohen Leistungsfähigkeit spezifische Schwächen: Erstens sind sie Black Boxes: Parameter proprietärer Modelle sind überhaupt nicht zugänglich; und selbst nicht-proprietäre Modelle sind weitgehend undurchsichtig in dem Sinne, dass es unklar ist, wo genau spezifisches Wissen in potenziell Milliarden von Parametern kodiert ist. Zweitens besteht die Tendenz, die Größe der LLMs und der Trainingsdaten immer weiter zu erhöhen, um die Leistung zu verbessern, was vor allem bei Domänen oder Sprachen mit weniger Ressourcen problematisch ist.

Die E&E-Gruppe des Forschungsbereichs Sprachtechnologie und Multilingualität arbeitet an transparenten und effizienten NLP-Modellen. Unser Ziel ist es, die Parameter und das Verhalten von LLMs sowohl für Endbenutzer als auch für Forscher erklärbar und verständlich zu machen. Wir versuchen, LLMs im Hinblick auf den Datenverbrauch zu verbessern, z. B. für Bereiche oder Sprachen, in denen Daten knapp sind, indem wir strukturierte Daten, neue Lerntechniken oder andere Modalitäten verwenden; und im Hinblick auf die Modellgröße, z. B. für Umgebungen, in denen keine leistungsstarke Hardware verfügbar ist.

Wir sind an Twinning-Projekten beteiligt, bei denen wir einen Wissenstransfer sowohl zu Forschungsthemen als auch zum Projektmanagement an neu gegründete Forschungseinrichtungen in ganz Europa leisten. Wir sind an europäischen Procurement-Projekten beteiligt, die sich auf Sprachressourcen konzentrieren, wie z. B. die European Language Resource Coordination und der Language Data Space.

• Find-2-Find: Multitask Learning for Anaphora Resolution and Object Localization
  Cennet Oguz; Pascal Denis; Emmanuel Vincent; Simon Ostermann; Josef van Genabith
  In: Houda Bouamor; Juan Pino; Kalika Bali (Hrsg.). Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Conference on Empirical Methods in Natural Language Processing (EMNLP), Singapore, Pages 8099-8110, Association for Computational Linguistics, 2023.
• Investigating the Encoding of Words in BERT's Neurons Using Feature Textualization
  Tanja Bäumel; Soniya Vijayakumar; Josef van Genabith; Günter Neumann; Simon Ostermann
  In: Yonatan Belinkov; Sophie Hao; Jaap Jumelet; Najoung Kim; Arya McCarthy; Hosein Mohebbi (Hrsg.). Proceedings of the 6th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP. Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP-2023), Singapore, Pages 261-270, Association for Computational Linguistics, 2023.
• InterroLang: Exploring NLP Models and Datasets through Dialogue-based Explanations
  Nils Feldhus; Qianli Wang; Tatiana Anikina; Sahil Chopra; Cennet Oguz; Sebastian Möller
  In: Houda Bouamor; Juan Pino; Kalika Bali (Hrsg.). Findings of the Association for Computational Linguistics: EMNLP 2023. Conference on Empirical Methods in Natural Language Processing (EMNLP-2023), December 6-10, Singapore, Singapore, Association for Computational Linguistics, 12/2023.
• HybridBERT - Making BERT Pretraining More Efficient Through Hybrid Mixture of Attention Mechanisms
  Gokul Srinivasagan and Simon Ostermann
  In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 4: Student Research Workshop), pages 285–291, Mexico City, Mexico. Association for Computational Linguistics. Runner-Up Best Paper Award.
• MMAR: Multilingual and Multimodal Anaphora Resolution in Instructional Videos
  Cennet Oguz, Pascal Denis, Simon Ostermann, Emmanuel Vincent, Natalia Skachkova, and Josef van Genabith
  In Findings of the Association for Computational Linguistics: EMNLP 2024. Association for Computational Linguistics.
• Common European Language Data Space
  Georg Rehm, Stelios Piperidis, Khalid Choukri, Andrejs Vasiļjevs, Katrin Marheinecke, Victoria Arranz, Aivars Bērziņš, Miltos Deligiannis, Dimitris Galanis, Maria Giagkou, Katerina Gkirtzou, Dimitris Gkoumas, Annika Grützner-Zahn, Athanasia Kolovou, Penny Labropoulou, Andis Lagzdiņš, Elena Leitner, Valérie Mapelli, Hélène Mazo, et al.. 2024.
  In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), pages 3579–3586, Torino, Italia. ELRA and ICCL.