DYNAMICS ist ein von dem Bundesministerium für Bildung und Forschung finanziertes Projekt. Es beschäftigt sich mit der Kreation und Integration von Vorwissen über Formen und Bewegungen von Objekten aus Datenbanken, um die herausfordernde Aufgabe der vierdimensionalen (4D) Rekonstruktion, von realen Objekten anzugehen. Zudem soll die Möglichkeit geschaffen werden Objekteigenschaften, die identifiziert werden können, auf virtuelle Modelle dieser Objekte zu übertragen. Unter 4D Rekonstruktion versteht man hierbei die Rekonstruktion von der 3D Form eines Objektes und dessen Bewegung, aus Videobildern. Unser Fokus liegt hierbei auf sich dynamisch bewegende und deformierbare Objekte wie Teile eines Menschen, wie Muskeln oder ein (schlagendes) Herz. Andere Objekte sind jedoch nicht ausgeschlossen.
Durch rasante Entwicklungen in der Bildverarbeitung und der Computergrafik können heutzutage komplexe Objekte digitalisiert und photorealistisch dargestellt bzw. animiert werden. Die Basistechnologien finden Anwendung in der Filmproduktion, der digitalen Aufbereitung von 3D Objekten, Bildgebenden Verfahren in der Medizin oder 3D Videos.
Die notwendigen Basistechnologien umfassen dabei unter anderem die präzise Rekonstruktion von Objekten in 3D Geometrie und Materialeigenschaften sowie die Modellierung und die Schätzung ihrer Bewegungen. Die realistische, geometrische Repräsentation deformierbarer Objekte in dynamischer Bewegung - beispeilsweise eines laufenden Menschen oder eines schlagenden Herzens während einer endoskopischen Untersuchung - sind allerdings sehr komplex und inhärent 4D.
Gleichzeitig ist die 4D Rekonstruktion eines Objektes aus Bildern/Videos komplex, rechenintensiv und bis jetzt noch nicht umfassend erforscht bzw. entwickelt. Probleme, die oft in realen 4D Szenarien auftauchen, sind zum Beispiel
1) beschränkte Sicht auf das Objekt in der Szene und daraus resultierendes beschränktes Wissen über die Form und Bewegung des Objekts oder
2) lokale Beleuchtungsunterschiede durch Änderung des Blickwinkels bzw. durch Bewegung des Objektes sowie
3) unzureichendes Vorwissen zur Modellierung der Deformation eines Objektes.
Auf der anderen Seite kann die Rekonstruktion von Formen und Bewegungen durch Integration von Vorwissen stark an Robustheit und Genauigkeit gewinnen. Weiterhin gibt es eine wachsende Anzahl an 3D Objekten, welche öffentlich zugänglich sind, z.B. durch Datenbanken wie SCAPE, FAUST, 3D Warehouse, etc., die als Form-Vorwissen genutzt werden können. Zudem zeigen zahlreiche Videos, z.B. auf YouTube.com , verschiedenste Bewegungsszenarien, die verfügbar sind und genutzt werden können.
In dem Projekt DYNAMICS wollen wir Vorwissen über Form und Bewegung von Objekten kombinieren und in Algorithmen integrieren, um die anspruchsvolle Aufgabe der stabilen 4D Rekonstruktion in realistischen, dynamischen Szenarien anzugehen. Zudem wollen wir Eigenschaften, welche aus realen Daten herleitbar sind, auf entsprechende virtuelle Modelle übertragen können. Dies ermöglicht eine detaillierte Bewegungs- und Deformationsanalyse mit zahlreichen Anwendungen im medizinischen Kontext, beispielsweise der Endoskopie oder der Ganganalyse. Des Weiteren gibt es Anwendungsmöglichkeiten in der Filmproduktion in Hinsicht auf 3D Videoproduktion von hoch deformierbaren Objekten. Nicht zuletzt sind Anwendungen im schnellen Erstellen von Prototypen aus 3D Modellen, wie Modelle des rechnerunterstützten Konstruierens (CAD-Modelle), möglich. Hierbei erlauben die geplanten Technologien das Ermitteln von Modellparametern aus Videodaten. Wir definieren drei Prototypen, um das Potential der jeweiligen Entwicklungen aufzuzeigen:
1) 4D Rekonstruktion aus einem monokularen Video, angewandt in einem medizischen Szenario der Endoskopie.
2) Detaillierte 4D Rekonstruktion menschlicher Köperteile während des Laufens.
3) Modellerkennung und Anpassung eines CAD-Modells unter Verwendung einer vordefinierten Datenbank und Schätzung von Modellparametern.
