Skip to main content Skip to main navigation

Projekt | CORA4NLP

Laufzeit:
Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

Anwendungsfelder

  • Sonstige

Sprache ist implizit - sie lässt Informationen aus. Um diese Informationslücke zu füllen, sind kontextabhängige Inferenz, Hintergrund- und Allgemeinwissen sowie Schlussfolgerungen über den situativen Kontext erforderlich. Zudem entwickelt sich Sprache weiter, d.h. sie spezialisiert und verändert sich im Laufe der Zeit. Zum Beispiel gibt es viele verschiedene Sprachen und Domänen, neue Domänen entstehen, und beides entwickelt sich ständig weiter. Daher erfordert Sprachverständnis auch eine kontinuierliche und effiziente Anpassung an neue Sprachen und Domänen und den Transfer zu und zwischen beiden. Aktuelle sprachtechnologische Methoden des Sprachverstehens konzentrieren sich jedoch auf ressourcenreiche Sprachen und Domänen, verwenden wenig bis keinen Kontext und gehen von statischen Daten-, Aufgaben- und Zielverteilungen aus.

Die Forschung in Cora4NLP adressiert diese Herausforderungen.. Sie baut auf der Expertise und den Ergebnissen des Vorgängerprojekts DEEPLEE auf und wird gemeinsam von den sprachtechnologischen Forschungsabteilungen in Berlin und Saarbrücken durchgeführt. Konkret ist es unser Ziel, Methoden des natürlicher Sprachverstehens zu entwickeln, die folgendes ermöglichen:

  • Schlussfolgerungen über breitere Ko- und Kontexte;
  • effiziente Anpassung an neuartige und/oder ressourcenarme Kontexte;
  • kontinuierliche Anpassung an und Generalisierung über sich verändernde Kontexte.

Um dies zu erreichen, verfolgen wir die folgenden Forschungsrichtungen:

  • Speicher- und sprachmodellbasiertes few- und zero-shot learning;
  • Selbst- und schwach-überwachtes Pre-Training für ressourcenarme Domänen und Long-Tail-Klassen;
  • mehrsprachige, Intra- und Inter-Dokument-, sowie Dialog-Kontext-Repräsentationen;
  • Integration von strukturiertem Domänenwissen, Hintergrund- und Allgemeinwissen;
  • Kontinuierliches Lernen für Open-Domain- und überwachte Aufgaben;
  • multi-hop kontextuelles Schlussfolgern.

Die resultierenden Methoden werden im Kontext verschiedener Aufgaben zum Verstehen natürlicher Sprache angewendet, wie z.B. Informationsextraktion, Fragebeantwortung, maschinelle Übersetzung und Dialog.

Publikationen zum Projekt

  1. To Clarify or not to Clarify: A Comparative Analysis of Clarification Classification with Fine-Tuning, Prompt Tuning, and Prompt Engineering

    Alina Leippert; Tatiana Anikina; Bernd Kiefer; Josef van Genabith

    In: Yang Cao; Isabel Papadimitriou; Anaelia Ovalle; Marcos Zampieri; Frank Ferraro; Swabha Swayamdipta (Hrsg.). Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics (Student Research Workshop). NAACL-HLT Student Research Workshop (NAACL-SRW-2024), located at NAACL, June 18, Mexico City, Mexico, Association for Computational Linguistics,…
  2. Multilingual coreference resolution: Adapt and Generate

    Tatiana Anikina; Natalia Skachkova; Anna Mokhova

    In: Zdeněk ´abokrtský; Maciej Ogrodniczuk (Hrsg.). Proceedings of the CRAC 2023 Shared Task on Multilingual Coreference Resolution. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2023), located at EMNLP 2023, December 6-7, Singapore, Singapore, Pages 19-33, Association for Computational Linguistics, 12/2023.

Fördergeber

BMBF - Bundesministerium für Bildung und Forschung

01IW20010

BMBF - Bundesministerium für Bildung und Forschung