Das jährliche Programm der CES-Innovationspreise würdigt herausragendes Produktdesign und Engineering für brandneue Produkte der Konsumgüterindustrie. Der Innovation Showcase „Dragon Drive Auto Assistant w/Multi-Modal Collaboration“ wurde in der Kategorie „Vehicle Intelligence and Self-Driving Technology“ mit einem Honoree Award ausgezeichnet.
Die vom DFKI entwickelte Funktionserweiterung des Nuance Dragon Drive Systems erleichtert den Zugriff auf ortsbezogene Informationen in Echtzeit schon während der Fahrt. Erreicht wird dies über Sensorfusion und einen multimodalen Ansatz, der Sprache, Blicke und weitere Wissensquellen gleichzeitig auswertet und die entsprechenden Informationen dialogorientiert und in natürlicher Sprache über das Infotainment-System im Auto ausgibt. Der Fahrer kann Fragen zu umliegenden Gebäuden, Öffnungszeiten oder Sehenswürdigkeiten stellen, z.B.: „Wie lange ist das Fischrestaurant da drüben heute geöffnet und was sind die Tagesspezialitäten?“ Er kann auf Empfehlungen zugreifen oder sich z.B. direkt mit einem Restaurant verbinden lassen, um einen Tisch zu reservieren. Über die synchrone Auswertung des Blicks, der Kopfhaltung und der gesprochenen Frage leistet das System die sogenannte Referenzauflösung, versteht also genau, welches Gebäude gemeint ist.
DFKI CEO Prof. Wolfgang Wahlster erklärt dazu: „Das System, das auf der CES 2018 vorgestellt wurde, basiert auf Vorarbeiten, die am DFKI bereits 2010 im BMBF-Projekt CARMINA durchgeführt wurden. Die ersten funktionierenden Prototypen konnte das DFKI auf der CEBIT 2012 präsentieren. Allerdings hatte die zu dem Zeitpunkt zur Verfügung stehende Hardware noch nicht die erforderliche Eignung für den kommerziellen Dauereinsatz im Fahrzeug. Das hat sich mittlerweile in mehreren Dimensionen geändert: die Sensorik wurde weiterentwickelt, Algorithmen zur Blickanalyse sind heute präziser, die Software wurde beschleunigt und die Nachfrage der Nutzer nach genau diesen Interaktionserlebnissen wird intensiver. Es ist also folgerichtig, dass Nuance die Erfahrungen aus Sprachtechnologie und Automotive zusammenbringt und gemeinsam mit dem DFKI ein System integriert, das die multimodalen Interaktionsbedürfnisse des Fahrers bedient.“
DFKI-Projektleiter Mohammad Mehdi Moniri, der das System auch bei der CES in Las Vegas präsentierte, sagt: „Bisher kannte man dieses Niveau der Interaktion nur aus Science Fiction. Die eingesetzte Sensorik fusioniert die Blickdaten, die Bewegung bzw. die Orientierung des Kopfes, die Sprachdaten, die Lokalisierung, das onboard-Kartenmaterial und ergänzend Ergebnisse der ortsbezogenen Internet Live-Suche. Der Fahrer kann deshalb in einer intuitiven und interaktiven Art und Weise mit gesprochener Sprache auf die Umgebungsinformation zugreifen. Und das Interesse der Automobilindustrie und der CES-Besucher war überwältigend.“
„Das Auto entwickelt sich rasend schnell zur wichtigsten AI-Plattform, insbesondere im Hinblick auf vernetzte und autonome Fahrzeuge. Durch die Kombination von dialog-orientierter KI, Sensoren und Daten können wir einen automotiven Assistenten entwickeln, der noch aufmerksamer ist, Zusammenhänge besser versteht und dadurch intelligenter wird. So entsteht ein natürliches und ganzheitliches Fahrgefühl“, ergänzt Dr. Nils Lenke, Senior Director of Corporate Research bei Nuance.
Die Technologie der multimodalen Dialogsysteme und die eingesetzte Sensorik – z.B. der Eye-Tracker mit Infrarot-Kamera für die Blickverfolgung – zeigen nicht nur die Zukunft von Informationszugriff und Infotainment im Auto, sondern sind auch ein aktiver Beitrag für mehr Fahrsicherheit. Für den Fall, dass der Fahrer durch die Umgebung abgelenkt wird, kann das System auf Gefahrensituationen hinweisen, die aus einer blickabgewandten Richtung kommen.
Nuance Communications ist seit 2014 Industriegesellschafter des DFKI und hat 2017 im DFKI in Saarbrücken ein Büro eröffnet, um die Zusammenarbeit zu intensivieren.
DFKI-Ansprechpartner:
Reinhard Karger, M.A.
Unternehmenssprecher
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, DFKI
Campus D 3-2
D-66123 Saarbrücken
Tel: +49 681 85775 5253
Mobil: +49 151 1567 4571
communications-sb@dfki.de
