Das Ziel des Projekts SEMAINE ist es, einen emotional reagierenden künstlichen Zuhörer (Sensitive Artificial Listener) zu bauen – ein multimodales Dialogsystem mit den Fähigkeiten zur sozialen Interaktion, die für eine fortlaufende Unterhaltung mit einem menschlichen Benutzer nötig sind. Der Schwerpunkt des Systems wird auf “weichen” Kompetenzen zur Kommunikation liegen, also auf nonverbalen, sozialen und emotionalen Fähigkeiten in Wahrnehmung, Interaktion und Verhalten. Das Paradigma des künstlichen emotionalen Zuhörers beinhaltet nur sehr eingeschränkte verbale Fähigkeiten, ist aber nachgewiesenermaßen geeignet für eine länger anhaltende Mensch-Maschine-Interaktion. In diesem Paradigma werden wir ein echtzeitfähiges, robustes interaktives System bauen, das Gesichtsausdruck, Blick und Stimme eines menschlichen Benutzers wahrnimmt und mit diesem durch Körper, Gesicht und Stimme eines Konversationsagenten in Austausch tritt. Der Agent wird audiovisuelles Hörer-Feedback in Echtzeit zeigen, während der Benutzer spricht, und wird, wenn er selbst spricht, das Benutzerverhalten interpretieren und sein Verhalten entsprechend anpassen. Der Agent wird unterschiedliche Dialogstrategien anwenden, abhängig davon, in welchem Zustand sich der Benutzer befindet; dazu wird das System lernen, das nonverbale Verhalten des Benutzers zu interpretieren und sein eigenes Verhalten entsprechend anpassen.
Daten für das Training der Systemkomponenten werden zunächst mit einem "Wizard-of-Oz"-System gesammelt, d.h. mit einem System, dessen Verhalten von einem menschlichen Experten bestimmt wird; später werden die Daten mit dem zunehmend ausgereiften autonomen System erhoben. Ein Teil der Daten wird der Forschungsgemeinschaft zur Verfügung gestellt.
Die Konsortialpartner sind in einer Reihe von Standardisierungsinitiativen aktiv, die für den Bau von sozial kompetenten interaktiven Agenten relevant sind; diese Standards werden durch die Arbeit in SEMAINE mit geprägt werden.
Partner
- Deutsches Forschungszentrum für Künstliche Intelligenz DFKI GmbH, Saarbrücken, Germany (Coordinator)
- Queen's University Belfast, UK
- Imperial College of Science, Technology and Medicine, London, UK
- Universiteit Twente, Netherlands
- Université Paris VIII, France
- Technische Universität München, Germany
