Die Kameramatrix besteht aus sechzehn quadratisch angeordneten Einzelkameras, die zusammen nicht nur als Bildgeber, sondern auch als Entfernungsmesser fungieren. Sie sind auf einem sogenannten „Wafer“, eine etwa 1 Millimeter dicke Struktur aus polykristallinen Halbleiterrohlingen, angeordnet. Die neuartige Kameratechnologie stammt von der ams Sensors Germany GmbH. Durch sie wird die Kamera nicht größer als zehn mal zehn Millimeter und circa drei Millimeter dick sein.
Stephan Voltz, CEO der ams Sensors Germany, erklärt die Funktion der neuen Technologie: „Der Aufbau als Kameramatrix erfasst die Szene aus sechzehn leicht versetzten Perspektiven, um die Szenengeometrie (ein Tiefenbild) mit dem Lichtfeldprinzip zu berechnen. Da solche Berechnungen sehr rechenintensiv sind, wird ein effizienter Prozessor direkt in die Peripherie der Kameramatrix eingebettet, um Echtzeitanwendungen zu ermöglichen.“
Die Algorithmen für die Tiefenbildberechnungen entwickelt der Forschungsbereich Augmented Vision (AV) am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern. Sie sollen ressourcenschonend und in Echtzeit direkt im Kamerasystem durchgeführt werden. Außerdem sollen auf dem eingebetteten Chip verschiedene Anwendungen zur Weiterverarbeitung der generierten Bilddaten laufen.
Professor Didier Stricker, Leiter des Forschungsbereichs Augmented Vision am DFKI: „Die Tiefeninformationen, die das Kamerasystem neben den Farbinformationen zur Verfügung stellt, ermöglichen vielfältige neue Anwendungen. Durch die ultrakompakte Bauweise ist es möglich, die neue Kamera in sehr kleine filigrane Bauteile zu integrieren und dort als berührungslosen Sensor zu nutzen“.
Der Aufbau der Kameramatrix ist rekonfigurierbar. Dadurch kann in Abhängigkeit der Anwendung auch ein spezielleres Layout verwendet werden, beispielsweise eine andere Anordnung der Kameramatrix in L-Form. Auch die Tiefenbildberechnung kann auf bestimmte Anforderungen an die Tiefeninformation angepasst werden.
Kamerasysteme, die Tiefeninformationen liefern, existieren bereits. Allerdings senden diese Licht aus, um die Tiefe zu berechnen. Nachteile sind der hohe Energieverbrauch, die große Bauform und hohe Kosten. Andere, passive Systeme haben einen wesentlich geringeren Energieverbrauch, sind aber noch im Forschungsstadium und weisen in der Regel große Formen und geringe Bildraten auf.
„Die DAKARA-Kameramatrix wird das erste passive System sein, das sowohl Farb- als auch Tiefenbilder in Echtzeit bereitstellt und durch hohe Bildraten, adaptive Eigenschaften, geringen Energieverbrauch und die sehr kompakte Bauform überzeugt“, so Oliver Wasenmüller, der DFKI-Projektleiter und Co-Initiator des Projekts. Das neue System soll bei namhaften Anwendern aus unterschiedlichen Domänen in den Produktiveinsatz gehen.
Um die Entwicklungen von DAKARA zu überprüfen und demonstrieren dienen zwei Anwendungsszenarien: Eine Rückfahrkamera des Partners ADASENS Automotive GmbH soll das rückwärtige Fahrzeugumfeld besser interpretieren. Dadurch können beim automatisierten Einparken auch feinere Strukturen, wie Bordsteinkanten oder Pfosten, erkannt werden. Außerdem soll das System Menschen erkennen und im Notfall Warnsignale senden. Dadurch kann eine enorme Steigerung der Sicherheit beim automatisierten oder teilautomatisierten Fahren erwartet werden. Bei den Anwendungspartnern Bosch Rexroth AG und DFKI (Forschungsbereich Innovative Fabriksysteme) mit dem Living Lab SmartFactory KL e.V. wird ein manueller Montageprozess zur Werkerassistenz installiert. Die Kameramatrix erfasst durch Algorithmen des Partners CanControls GmbH sowohl Objekte als auch die Hände des Arbeiters. Die besondere Herausforderung besteht darin, Objekte wie Werkzeuge oder Werkstücke eindeutig von den Händen des Monteurs zu unterscheiden. Durch die Tiefeninformationen der DAKARA-Kamera soll diese Trennung einfacher und präziser werden.
In den nächsten drei Jahren soll die neue Kameramatrix entworfen, entwickelt und in den erwähnten Szenarien ausgiebig getestet werden. Ein erster Prototyp soll bis Spätsommer 2018 realisiert werden.
Das Projekt „DAKARA“ wird vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Programms „Photonik Forschung Deutschland – Digitale Optik“ gefördert. Das Projektvolumen beträgt insgesamt 3,8 Millionen Euro, davon wird fast die Hälfte durch die beteiligten Industriepartner aufgebracht.
Partner:
- AMS Sensors Germany GmbH, Nürnberg (Konsortialführung)
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI), Kaiserslautern (Technische Konsortialführung)
- ADASENS Automotive GmbH, Lindau
- Bosch Rexroth AG, Stuttgart
- CanControls, Aachen
Kontakt:
Prof. Dr . Didier Stricker
Forschungsbereich Augmented Vision
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH
Trippstadter Straße 122
67663 Kaiserslautern
E-Mail: Didier.Stricker@dfki.de
Pressekontakt:
DFKI – Team Unternehmenskommunikation
Trippstadter Straße 122
67663 Kaiserslautern
Tel.: +49 631 20575 -1700/-1710
E-Mail: communications-kl@dfki.de
