Gehirn ausgetrickst: Neue Dimensionen der Haptik in der Virtuellen Realität

In der nun prämierten Arbeit geht es darum, wie man physische Requisiten (Fachterminus: „Proxys“) einsetzen kann, um Objekte in virtuellen Umgebungen haptisch erfahrbar zu machen. „Man kann natürlich nicht für jedes virtuelle Objekt ein Proxy vorhalten, dann wäre der Ansatz nicht skalierbar. In meiner Dissertation habe ich mir deshalb überlegt, wie Geräte aussehen könnten, mit denen die physischen Eigenschaften verschiedener virtueller Objekte möglichst effektiv simuliert werden können“, erklärt André Zenner, der an der Graduiertenschule der Saarbrücker Informatik an der Universität des Saarlandes promoviert hat und nun an der Saar-Uni sowie am Deutschen Forschungszentrum für Künstliche Intelligenz forscht.

Herausgekommen sind die Prototypen für zwei spezielle VR-Controller namens „Shifty“ und „Drag:on“. VR-Controller sind Geräte, die von einem Benutzer in der Hand gehalten werden können, um durch eine entsprechende Tracking-Technologie Objekte in der virtuellen Realität zu steuern oder zu manipulieren.

„Shifty“ ist ein stabförmiger Controller, in dem ein bewegliches Gewicht verbaut ist. Das Gewicht kann durch einen Motor entlang der Längsachse verschoben werden, sodass sich der Schwerpunkt und die Trägheit des Stabes ändert. „In Kombination mit entsprechenden Visualisierungen in der virtuellen Realität kann mit Shifty die Illusion erweckt werden, dass ein virtuelles Objekt länger oder schwerer wird“, erklärt André Zenner. In Experimenten konnte er nachweisen, dass Objekte als leichter oder kleiner wahrgenommen werden, wenn sich das Gewicht in der Nähe der Hand des Nutzers befindet und dass sie, gekoppelt mit dem entsprechenden visuellen Input, als länger und schwerer empfunden werden, je weiter sich das Gewicht im Stab vom Nutzer wegbewegte. „Das hängt vor allem mit Veränderungen der Trägheit des Controllers zusammen, denn das Gesamtgewicht ändert sich ja nicht“, erläutert André Zenner. Die Forschungs- und Entwicklungsabteilung des Gaming-Riesen Sony experimentiert bereits mit diesem Konzept und zitiert André Zenners Arbeit bei der Entwicklung neuartiger VR-Controller.

Mit den Controllern hat sich der Saarbrücker Informatiker zunächst dem Ähnlichkeitsproblem (‚similarity problem‘) gewidmet. Dabei geht es darum zu erreichen, dass sich virtuelle und echte Objekte möglichst ähnlich anfühlen. Im zweiten Teil seiner Arbeit beschäftigte er sich mit dem so genannten ‚colocation problem‘, also der Frage, ob sich das Proxy räumlich in echt dort befindet, wo der Nutzer es in der virtuellen Realität sieht. Besonders herausfordernd: Da die Controller als Proxy für verschiedene virtuelle Objekte fungieren, muss beim Nutzer die Illusion erweckt werden, dass er nach verschiedenen Objekten greift, obwohl er in Wirklichkeit immer dasselbe Proxy fassen wird.

Dazu machte sich der Forscher die bereits etablierte Methode der „Hand Redirection“ zunutze. Wie der Name vermuten lässt, wird dabei die Bewegung der Hand in der virtuellen Realität umgelenkt, sodass der Nutzer denkt, er greife beispielsweise nach links, obwohl er die Hand gerade nach vorn ausstreckt. „Wir haben in Experimenten untersucht, ab welchem Punkt Nutzer merken, dass ihre Hand umgelenkt wurde. Unsere Ergebnisse zeigten, dass dieser Punkt schnell erreicht war und so haben wir uns überlegt, wie wir die Handumlenkung besser verbergen können“, sagt André Zenner. Die Lösung: Er trickste das Gehirn aus, indem er die Umlenkung der Hand nur dann durchführte, wenn das Gehirn gerade blind für visuelle Veränderungen war – nämlich während des Blinzelns. Dazu entwickelte er zusammen mit einer von ihm betreuten Studentin die passende Software und nutzte die in vielen VR-Headsets verbauten Eye-Tracker. In Kontrollstudien konnte das Team dann zeigen, dass seine neuen Controller in Kombination mit Handumlenkungs-Algorithmen zu überzeugenderen VR-Wahrnehmungen führten als bisher möglich.

Dieser Forschungserfolg wurde nun international prämiert. Die Arbeit unter dem Titel „Advancing Proxy-Based Haptic Feedback in Virtual Reality“ wurde Mitte März bei der „IEEE Conference on Virtual Reality and 3D User Interfaces”, die in diesem Jahr in Orlando in Florida stattfand, mit dem „IEEE VGTC Virtual Reality Best Dissertation Award“ ausgezeichnet. Laut Angaben des IEEE wird der Preis jedes Jahr an den Autor oder die Autorin der herausragendsten Dissertation verliehen, die in den vorangegangenen zwei Kalenderjahren in den Forschungsbereichen der virtuellen und erweiterten Realität verteidigt wurde. Insgesamt wurden zur 2024er Auflage der Konferenz 16 Dissertationen eingereicht und von einem internationalen Expertenkomitee begutachtet. Betreut wurde die Arbeit von Prof. Dr. Antonio Krüger, CEO des Deutschen Forschungszentrums für Künstliche Intelligenz und Leiter des „Ubiquitous Media Lab“ an der Universität des Saarlandes.

Originalpublikation: Zenner, A. (2022). Advancing Proxy-Based Haptic Feedback in Virtual Reality. Universität des Saarlandes. doi:10.22028/D291-37879

Weitere Informationen:

https://ieeevr.org/vgtc/VR_best_dissertation/index.html

https://www.youtube.com/watch?v=1l0wKk6q_ss (Video „Shifty”)

https://www.youtube.com/watch?v=Wf1Ls4M2afg (Video „Drag:on”)

https://www.youtube.com/watch?v=-NuaQnvyV_8 (Video „Blink-Suppressed Hand Redirection“)

Hintergrund Saarland Informatics Campus:
900 Wissenschaftlerinnen und Wissenschaftler (darunter 400 Promovierende) und rund 2500 Studierende aus mehr als 80 Nationen machen den Saarland Informatics Campus (SIC) zu einem der führenden Standorte für Informatik in Deutschland und Europa. Vier weltweit angesehene Forschungsinstitute, nämlich das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Max-Planck-Institut für Informatik, das Max-Planck-Institut für Softwaresysteme, das Zentrum für Bioinformatik, sowie die Universität des Saarlandes mit drei vernetzten Fachbereichen und 24 Studiengänge decken das gesamte Themenspektrum der Informatik ab. 

++++ Gemeinsame Pressemitteilung der Universität des Saarlandes und des DFKI +++++