COMIC ist ein EU-Projekt innerhalb des fünften IST-Rahmenprogramms. COMIC strebt an, generische kognitive Modelle für multimodale Interaktion zu definieren und in Demonstrationssystemen zu evaluieren.
COMIC geht von der Annahme aus, dass eine echte multimodale Interaktion mit Computern auf der Erforschung generischer kognitiver Modelle der natürlicherweise multimodalen Interaktion zwischen Menschen basieren muss. Weiter entwickelte kognitive Modelle über die Prozesse, die bei einer multimodalen Interaktion beteiligt sind, werden neuartige eWork- und eCommerce-Dienste ermöglichen: Eine konkrete Anwendung wird ein Badplanungssystem sein, das durch ein multimodales Interface auch von Laien benutzt werden kann.
Im Gegensatz zu SmartKom und anderen bestehenden multimodalen Systemen liegt ein Fokus von COMIC auf einer nicht-kooperativen Interaktion, bei der die Dialogpartner unterschiedliche Ziele verfolgen. Auf die Badplanungsdomäne übertragen stehen sich hier der Wunsch des Kunden nach einem möglichst günstigen Bad, das seiner Vorstellung entspricht, und dem Bestreben des Händlers nach Gewinnmaximierung etwa durch den Verkauf teurer Fliesen gegenüber. Basis für die Definition und Modellierung der genannten kognitiven Prozesse sind Experimente mit Versuchspersonen, die "miteinander konkurrierend" räumlich-logistische Aufgaben zu bewältigen haben.
Die verschiedenen Eingabekanäle multimodaler Interaktion in COMIC sind Sprache (ergänzt um prosodische Informationen) und Stifteingaben auf einem Bildschirm, die von einfachen Zeigegesten zur Referenzierung von Objekten über Skizzenerstellung zur Badplanung bis zur Handschrifterkennung reichen. Bei letzterem interessiert besonders die unmittelbare Erzeugung einer geeigneten Darstellung des Gezeichneten: die "Tinte" muss auf dem Bildschirm sofort sichtbar sein, während die eigentliche Modalitätenfusion erst beginnt. Bei dieser Fusion werden Sprache und Gesten integriert und gemeinsam im Dialogkontext interpretiert. Der Schwerpunkt von COMIC liegt wie angedeutet in den Bereichen der gemeinsamen Problemlösung bei Verhandlungen. Hierzu ist ein komplexes Dialog- und Aktionsmanagement erforderlich, das u.a. die Ziele und Intentionen beider Dialogpartner modelliert und eine entsprechende Systemreaktion initiiert. Auf der Ausgabeseite ist in COMIC neben Sprache und der Repräsentation von Planungsschritten beim Badezimmerentwurf die Entwicklung eines dynamischen Avatars mit synthetisierten Kopf-, Gesichts- und Augenbewegungen das Ziel. Bei der Evaluation hinsichtlich Realismus, Genauigkeit und Usability interessieren hier z.B. Fragen nach dem Detaillierungsgrad des synthetisierten Gesichts in Bezug auf Größe, Animationsgeschwindigkeit und Auflösung, sowie ob immer alle Teile des Gesichts animiert werden müssen. Die optimale Verteilung auf die verschiedenen Ausgabekanäle zur Erreichung der bestmöglichen Verständlichkeit beim Benutzer obliegt der Modalitätenfission.
Herausragende Merkmale von COMIC:
- Kompetitv-kooperative Dialogpartner
- eigene Zielpräferenzen des System
- Multimodale Interaktion
- Kognitive Grundlagenforschung, Modellbildung und Umsetzung im Demonstrator
- Unmittelbares Feedback ("virtuelle Tinte")
- "Mixed initiative"
Partner
- Max-Planck Institute for Psycholinguistics (Konsortialleitung)
- DFKI GmbH
- Max-Planck-Institute for Biological Cybernetics
- University of Edinburgh
- University of Nijmegen
- University of Sheffield
- ViSoft GmbH
