VoluProf setzt eine Anwendung um, die ein möglichst realistisches und interaktives Abbild sowie die Sprache der Lehrenden in eine MR-Umgebung einbindet (z.B. im Wohnzimmer der Nutzer*innen). Der von der/m Lehrenden vorgegebene Text wird durch Text-To-Speech synthetisiert, wobei die Stimme mithilfe eines neuentwickelten Machine Learning-Verfahrens naturgetreu der Originalstimme nachgebildet wird. Der Gesichtsausdruck, die Lippenbewegung und die Körpersprache des Avatars werden automatisch an das Gesprochene angepasst. Dafür soll ein photorealistischer Avatar der/s Lehrenden aus hochqualitativen volumetrischen Videodaten erzeugt werden. Die Hauptidee des volumetrischen Videos besteht darin, eine Person oder ein Objekt mit mehreren Kameras in einem 360 grad Multi-Kamera-System zu erfassen und aus diesem Material ein dynamisches 3D-Modell zu erstellen, das der realen Welt in einer MR-Anwendung überlagert werden kann.
Um in Anwendungsszenario eine hohe Interaktivität zu erreichen, werden vom DFKI – aufsetzend auf den animierbaren volumetrischen Videos – multimodale Lernbot-Skripte entwickelt. Diese ermöglichen es, Diskurse zwischen den Avataren und den Nutzerinnen zu modellieren und so verschiedene Formen von Dialog zu realisieren – z.B. sokratische Dialoge, prüfungsartige Dialoge oder Nachfragemöglichkeiten für Nutzerinnen. Hierfür kann technisch auf etablierten Technologien (z.B. Wissensrepräsentation durch Ontologien, AIML-Skripte) aufgesetzt werden, die um Modellierungselemente für die Steuerung von Mimik und Gestik des Avatars erweitert werden.
