Sprachtechnologie und Multilingualität
TR-Team
Wir sind eine Forschungsgruppe im MLT-Lab am DFKI, die sich auf Dialogverarbeitung für die Mensch-Roboter-Kooperation und zur Unterstützung der Teamarbeit spezialisiert.
Ziel der Dialogverarbeitung ist der Aufbau von Systemen, die natürliche gesprochene Dialoginteraktionen interpretieren und daran teilnehmen können. Dialogverarbeitung umfasst automatische Spracherkennung, Verstehen natürlicher Sprache und Interpretation multimodaler Eingaben, Modellierung von Dialogzuständen, Dialogmanagement, Generierung und Synthese von verbalen und multimodalen Ausgaben. Dialog ist situiert, sozial und persönlich. Daher modellieren wir auch, wie sich das Gesagte auf die vorausgegangene(n) Interaktion(en), das Wissen über die Welt und die physische Situation bezieht und darauf aufbaut, welche Rollen die Dialogteilnehmer haben und welche Beziehungen zwischen ihnen bestehen und wie die aktuelle Interaktion die gesammelten interpersonellen Erfahrungen widerspiegelt.
Wir haben umfangreiche Erfahrungen mit Dialogverarbeitung in einer Vielzahl von Anwendungen, darunter Heim- und Büroservice, Gesundheitswesen, Mensch-Roboter-Zusammenarbeit in hybriden industriellen Produktionsteams und robotergestützte Katastrophenhilfe. In verschiedenen EU- und nationalen Projekten haben wir Dialogverarbeitung in mobile roboterbasierte Systeme integriert. In diesen Kontexten haben wir intensiv mit Endbenutzern gearbeitet, darunter Ersthelfer (z.B. Feuerwehreinsatzkräfte), Patienten (z.B. zuckerkranke Kinder) und Pflegepersonal.
Auswahl aktueller Projekte
Fluently
Fluently strebt eine echte soziale Zusammenarbeit zwischen Mensch und Maschine an, und zwar durch
- die Interpretation von Sprachinhalten, Tonfall und Gesten, die
automatisch in Roboterbefehle übersetzt werden, - die Beurteilung
des Zustands des Bedieners mittels einer speziellen Sensorinfrastruktur und - die Modellierung von Produkten und Produktionsänderungen.
Der Hauptbeitrag der TR-Gruppe lag in der Interpretation und Verankerung der Mensch-Roboter-Interaktion sowie in der Modellierung der Verteilung von gemeinsamem und privatem Wissen unter den Teilnehmern.
A-DRZ
A-DRZ baut ein Kompetenzzentrum auf, das wissenschaftliche und technische Expertise in der robotergestützten Katastrophenhilfe bündelt. Die TR-Gruppe entwickelt Methoden, um die verbale Kommunikation zwischen den Mitgliedern des Einsatzteams zu interpretieren und in Einsatzprozessmodellen zu verankern.
Projektwebsite: www.rettungsrobotik.de
Video: https://www.youtube.com/watch?v=ZWD6XDIzc8w
YouTube-Channel: https://www.youtube.com/channel/UCdFmco0w3RFACmCtygMNiMA
Ausgewählte frühere Projekte
INTUITIV
INTUITIV untersucht die intuitive nonverbale und informative verbale Roboter-Mensch-Kommunikation. Die TR-Gruppe entwickelt Methoden für die situierte gesprochene natürlichsprachliche Interaktion mit Schwerpunkt auf dem Indoor-Navigationsdialog.
PAL
Personal Assistant for Healthy Lifestyle
PAL (EU; 2015-2019) entwickelte ein integriertes System, das umfassende, langfristige, personalisierte und kontextsensitive Unterstützung bietet, um das Selbstmanagement von Kindern mit Typ-1-Diabetes zu fördern, so dass eine angemessene gemeinsame Verantwortung von Patient und Erzieher festgelegt wird, bevor das Kind das Jugendalter erreicht. Die TR-Gruppe hat Dialogmanagement, Langzeit-Interaktionsgedächtnis und Verarbeitung der gesprochenen Ein- und Ausgaben erarbeitet.
Mehr Details
Konzepterklärungsvideo: https://www.youtube.com/watch?v=v_7RqBq6tv0
TRADR
TRADR: Long-Term Human-Robot Teaming for Robot-Assisted Disaster Response (EU; 2013-2017) untersuchte, wie ein Team, das aus Menschen und mehreren boden- und Flugrobotern besteht, in einer Langzeitmission über mehrere synchrone und asynchrone Einsätze nach und nach Situationsbewusstsein und Erfahrung entwickelt. TRADR befasste sich mit der Persistenz von Umgebungsmodellen, Multi-Roboter-Aktionsmodellen und der Mensch-Roboter-Kooperation im Zeitverlauf. Die TR-Gruppe erforschte vor allem die Dialogverarbeitung für Teamkommunikation und interaktive Missionsberichterstattung.
Projektwebsite: http://www.tradr-project.eu
Videos:
TRADR Joint Exercise Dortmund 2015: Einsatzkonzept: https://www.youtube.com/watch?v=4z86nUlgEqc
TRADR Joint Exercise 2016 Prague: Übersicht von Technologien: https://www.youtube.com/watch?v=mJpLdiC75ns
Endreview: https://www.youtube.com/watch?v=W8onMryGTEA
TRADR youtube channel: https://www.youtube.com/channel/UCvrPijjrCFGWdJIHkKbFK-A
HySociaTea
HySocieTea: Hybrid Social Teams for Long-Term Collaboration in Cyber-Physical Environments (BMBF, 2014-2016) examined collaboration and communication in teams consisting of technologically augmented humans, autonomous robots, virtual characters and softbots, working on joint tasks in flexible production processes. The TR group contributed to the development of an integrated team collaboration system, including the processing for spoken dialogue between humans and artificial agents and otology-based modeling and reasoning for contextual reference resolution and generation.
Video: https://youtu.be/mdu60HFZrP8
Ausgewählte Veröffentlichungen
- Schwegmann, H., Kiefer, B., Plagge, T., & Ernst, F. (2024). Glasgow coma score estimation module for deployment on mobile robots in rescue
missions. /2024 IEEE International Symposium on Safety Security Rescue Robotics (SSRR)/, 26–31. - Pietras, E.; Hall, S. ; Kiefer, B.; Langaa, J.; Borzone, G.; Dhanda, M.; Kramberger, A.; Dhokia, V.; Krüger, N.; Bodenhagen, L. (2024).
Toward adaptive robot behavior for interdependent human-robot teams. /ICRA 2024 Workshop: Dynamic Duos: Human-Robot Co-Worker Adaptation in Manufacturing./ - Ivana Kruijff-Korbayová; Robert Grafe; Nils Heidemann; Alexander Berrang; Cai Hussung; Christian Willms; Peter Fettke; et al. (2021): German Rescue Robotics Center (DRZ): A Holistic Approach for Robotic Systems Assisting in Emergency Response. In: 2021 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR-2021), October 25-27, New York City, NY, USA, Pages 138-145, ISBN 978-1-6654-1764-8, DOI 10.1109/SSRR53300.2021.9597869, IEEE Xplore, 10/2021.
- Anindita Ghosh; Noshaba Cheema; Cennet Oguz; Christian Theobalt; Philipp Slusallek (2021): Synthesis of Compositional Animations from Textual Descriptions. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). International Conference on Computer Vision (ICCV-2021), October 11-17, Virtual, Pages 1396-1406, IEEE, 10/2021. https://github.com/anindita127/Complextext2animation / https://openaccess.thecvf.com/content/ICCV2021/supplemental/Ghosh_Synthesis_of_Compositional_ICCV_2021_supplemental.pdf / https://openaccess.thecvf.com/content/ICCV2021/papers/Ghosh_Synthesis_of_Compositional_Animations_From_Textual_Descriptions_ICCV_2021_paper.pdf
- Ivana Kruijff-Korbayová; Luigi Freda; Mario Gianni; Valsamis Ntouskos; Vaclav Hlavac; Vladimir Kubelka; Erik Zimmermann; Hartmut Surmann; Kresimir Dulic; Wolfgang Rottner; Emanuele Gissi: Deployment of Ground and Aerial Robots in Earthquake-Struck Amatrice in Italy (brief report). In: Kamilo Melo (Hrsg.). Proceedings of the 2016 IEEE International Symposium on Safety, Security and Rescue Robotics. IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR-2016), October 23-27, EPFL, Lausanne, Switzerland, Pages 278-279, ISBN 978-1-5090-4349-1, IEEE, 10/2016.
- N. Skachkova, and I. Kruijff-Korbayová, I. (2020) Reference in Team Communication for Robot-Assisted Disaster Response: An Initial Analysis. In Proceedings of the 3rd CRAC Workshop on Computational Models of Reference, Anaphora and Coreference, COLING 2020. https://www.aclweb.org/anthology/2020.crac-1.13
- C. Willms, C. Houy, J.-R. Rehse, P. Fettke, I. Kruijff-Korbayová, I. (2019): Team communication processing and process analytics for supporting robot-assisted emergency response. Proceedings of 2019 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR-2019), Würzburg, Germany. https://ieeexplore.ieee.org/document/8848976
- T. Anakina, I. Kruijff-Korbayová (2019): Dialogue act classification in team communication for robot assisted disaster response. Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, Stockholm, Sweden, September 11-13, 2019. https://www.aclweb.org/anthology/W19-5946/
- Kiefer, B., Welker, A., Biwer, C. (2019). VOnDA: A Framework for Ontology-Based Dialogue Management. Proc. of International Workshop on Spoken Dialogue Systems Technology (IWSDS), Springer. https://arxiv.org/abs/1910.00340
- Schwartz, T., Zinnikus, I., Krieger, H. U., Bürckert, C., Folz, J., Kiefer, B., et al. (2016). Hybrid teams: flexible collaboration between humans, robots and virtual agents. In German Conference on Multiagent System Technologies (pp. 131-146). Springer, Cham. https://www.dfki.de/web/forschung/projekte-publikationen/publikationen-uebersicht/publikation/8634/
- Kruijff-Korbayová, F. Colas, M. Gianni, F. Pirri, J. de Greeff, K. Hindriks, M. Neerincx, P. Ögren, T. Svoboda and R. Worst. TRADR Project: Long-Term Human-Robot Teaming for Robot Assisted Disaster Response. In KI - Künstliche Intelligenz, German Journal on Artificial Intelligence, June 2015, Volume 29, Issue 2, pp 193-201. https://hal.archives-ouvertes.fr/hal-01143484/document
- G.-J. Kruijff, I. Kruijff-Korbayová, S. Keshavdas, B. Larochelle, M. Janíček, F. Colas, M. Liu, F. Pomerleau, R. Siegwart, M. A. Neerincx, R. Looije, N. J. J. M. Smets, T. Mioch, J. van Diggelen, F. Pirri, M. Gianni, F. Ferri, M. Menna, R. Worst, T. Linder, V. Tretyakov, H. Surmann, T. Svoboda, M. Reinstein, K. Zimmermann, T. Petříček, V. Hlaváč. Designing, developing, and deploying systems to support human-robot teams in disaster response. Advanced Robotics, 28 (23), Pages 1547-1570, Taylor & Francis, London, 12/2014. https://hal.archives-ouvertes.fr/hal-01143476/document
- T. Belpaeme, P. Baxter, R. Read, R. Wood, H. Cuayáhuitl, B. Kiefer, et al. Multimodal Child-Robot Interaction: Building Social Bonds. Journal of Human-Robot Interaction, 1(2), 33-53. 2013. https://dl.acm.org/doi/10.5555/3109688.3109691
TR Mitglieder
Interim-Teamleitung:
Teammitglieder:
Tatiana Anikina
Cennet Oguz
Natalia Skachkova
Wissenschaftliche Hilfskräfte:
Ludmilla Borisenkov
Katharina Christian
Denise Coutandin
Priyanka Das
Alina Leippert
David Meier
Sangeet Sagar
Iulia Zaitova