Projekt

CORA4NLP

Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

Ko(n)textuelles Schließen und Anpassung an den Kontext bei der Verarbeitung natürlicher Sprache

  • Laufzeit:

Sprache ist implizit - sie lässt Informationen aus. Um diese Informationslücke zu füllen, sind kontextabhängige Inferenz, Hintergrund- und Allgemeinwissen sowie Schlussfolgerungen über den situativen Kontext erforderlich. Zudem entwickelt sich Sprache weiter, d.h. sie spezialisiert und verändert sich im Laufe der Zeit. Zum Beispiel gibt es viele verschiedene Sprachen und Domänen, neue Domänen entstehen, und beides entwickelt sich ständig weiter. Daher erfordert Sprachverständnis auch eine kontinuierliche und effiziente Anpassung an neue Sprachen und Domänen und den Transfer zu und zwischen beiden. Aktuelle sprachtechnologische Methoden des Sprachverstehens konzentrieren sich jedoch auf ressourcenreiche Sprachen und Domänen, verwenden wenig bis keinen Kontext und gehen von statischen Daten-, Aufgaben- und Zielverteilungen aus.

Die Forschung in Cora4NLP adressiert diese Herausforderungen.. Sie baut auf der Expertise und den Ergebnissen des Vorgängerprojekts DEEPLEE auf und wird gemeinsam von den sprachtechnologischen Forschungsabteilungen in Berlin und Saarbrücken durchgeführt. Konkret ist es unser Ziel, Methoden des natürlicher Sprachverstehens zu entwickeln, die folgendes ermöglichen:

  • Schlussfolgerungen über breitere Ko- und Kontexte;
  • effiziente Anpassung an neuartige und/oder ressourcenarme Kontexte;
  • kontinuierliche Anpassung an und Generalisierung über sich verändernde Kontexte.

Um dies zu erreichen, verfolgen wir die folgenden Forschungsrichtungen:

  • Speicher- und sprachmodellbasiertes few- und zero-shot learning;
  • Selbst- und schwach-überwachtes Pre-Training für ressourcenarme Domänen und Long-Tail-Klassen;
  • mehrsprachige, Intra- und Inter-Dokument-, sowie Dialog-Kontext-Repräsentationen;
  • Integration von strukturiertem Domänenwissen, Hintergrund- und Allgemeinwissen;
  • Kontinuierliches Lernen für Open-Domain- und überwachte Aufgaben;
  • multi-hop kontextuelles Schlussfolgern.

Die resultierenden Methoden werden im Kontext verschiedener Aufgaben zum Verstehen natürlicher Sprache angewendet, wie z.B. Informationsextraktion, Fragebeantwortung, maschinelle Übersetzung und Dialog.

Fördergeber


01IW20010

Publikationen zum Projekt

Christoph Alt, David Harbecke, Yuxuan Chen, Leonhard Hennig

In: Proceedings of the 1st Workshop on Efficient Benchmarking in NLP. Annual Meeting of the Association for Computational Linguistics (ACL-2022) May 22-27 Dublin Ireland Association for Computational Linguistics 5/2022.

Zur Publikation
Morgan Wixted, Alejandro García-Rudolph, Catalina Martínez-Costa, Saadullah Amin, Noon Pokaratsiri, Günter Neumann

In: Proceedings of the 21st Workshop on Biomedical Language Processing. Annual Meeting of the Association for Computational Linguistics (ACL-2022) BioNLP May 22-27 Dublin Ireland Seiten 200-211 ACL 5/2022.

Zur Publikation
Saadullah Amin, Günter Neumann

In: Proceedings of the 7th Workshop on Representation Learning for NLP. Annual Meeting of the Association for Computational Linguistics (ACL-2022) RepL4NLP May 22-27 Dublin Ireland Seiten 111-120 ACL 5/2022.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence