Unüberwachte Fragengenerierung mit Hilfe von Retrieval-unterstützter Auto-Encodierung
Die automatische Generierung von synthetischen natürlichsprachlichen Fragen (Fragengenerierung) aus unstrukturierten Dokumenten ist eine wertvolle Komponente in vielen NLP-Anwendungen, einschließlich semantischer Suche, Empfehlungssystemen, Kundeninteraktion, Fragenbeantwortung und Chatbots.
Sie trägt dazu bei, die Kosten und den Zeitaufwand für die Entwicklung solcher KI-Tools zu reduzieren, da weniger (oder gar keine) manuelle Annotationen von Trainingsdaten durch Experten erforderlich sind, und sie hilft, die KI-Tools schneller an neue Domänen und Anwendungen anzupassen.
Mit der neuen generativen KI-Technik Retrieval-augmented Auto-Encoding (AutoQIR) stellt das QAIE-Team (Question Answering and Information Extraction) seine jüngste Arbeit im Bereich der Fragengenerierung vor.
Ausgehend von einer kleinen Stichprobe von Fragen (z.B. automatisch aus dem Web), zieht das System relevante Passagen aus einem großen Textkorpus. Das daraus resultierende Fragengenerierungsmodell kann dann verwendet werden, um eine große Anzahl neuer aufschlussreicher Fragen zu neuen Bereichen und Textkorpora zu erstellen, die dann als umfassende Wissensbasis in vielen Anwendungen wie der semantischen Suche oder dem Training neuer Modelle für die Beantwortung von Fragen oder die Erstellung von Chatbots verwendet werden können.
Prof. Dr. Günter Neumann
Forschungsbereich Sprachtechnologie und Multilingualität
guenter.neumann@dfki.de
Tel: +49 681 85775 5298