Die Einsatzmöglichkeiten robotischer Systeme sind zahlreich. Jedoch fehlt es in der Praxis oft an funktionsfähigen Technologien, mit denen autonome Roboter auch komplexe Umgebungen umfassend wahrnehmen können. Visuelle Sensoren wie z.B. Kameras, die in der Robotik für Aufgaben wie autonome Navigation, Manipulation, Kartierung und Objekterkennung eingesetzt werden, liefern detaillierte Informationen über die Umgebung. Ihre Leistung hängt jedoch stark von den vorherrschenden Licht- und Sichtbedingungen ab. Demgegenüber sind akustische Sensoren zur Entfernungsmessung von den Sichtverhältnissen unabhängig. Auch sie generieren bildähnliche Daten, jedoch mit einer deutlich geringeren Auflösung als Kameras. Zudem ist ihre Funktionalität im Nahbereich stark eingeschränkt.
Intelligente Technologien für praxistaugliche Robotersysteme in komplexen Umgebungen
Hier setzt das am 1. Januar 2021 gestartete Projekt DeeperSense (Deep-Learning for Multimodal Sensor Fusion) an. Das übergreifende Ziel des im Rahmen des EU-Forschungsrahmenprogramms Horizont 2020 geförderten Vorhabens ist es, die Umgebungswahrnehmung von Servicerobotern vor allem in komplexen und unstrukturierten Umgebungen wie dem Unterwasserbereich signifikant zu verbessern. Dafür verfolgt das Projekt einen innovativen Ansatz: Durch Künstliche Intelligenz (KI), insbesondere Deep-Learning als datengetriebene Methode des Maschinellen Lernens, will es die Stärken nicht-visueller und visueller Sensoren miteinander kombinieren, um so deren Fähigkeiten zur Umgebungswahrnehmung über die Fähigkeiten der einzelnen Sensoren hinaus zu optimieren. Dies soll nicht nur die Leistung und Zuverlässigkeit autonomer Systeme deutlich erhöhen, sondern auch neue Funktionalitäten und Anwendungen für die Robotik erschließen.
Das DeeperSense-Konzept wird in drei Use-Cases aus dem sensorisch besonders anspruchsvollen Unterwasserbereich demonstriert: der Taucherüberwachung in trüben Gewässern, der Exploration von Korallenriffen und der Meeresboden-Kartierung. Dafür vereint das Projektkonsortium führende Experten auf den Gebieten Maritime Robotik, Künstliche Intelligenz und Unterwasser-Sensorik – das DFKI Robotics Innovation Center, die Universität Girona, die Universität Haifa und die Kraken Robotik GmbH – mit Endnutzern aus den drei Anwendungsbereichen – dem Technischen Hilfswerk (THW), der Israel Nature and Parks Authority und Tecnoambiente SL.
Intersensorisches Lernen für verbesserte Umgebungswahrnehmung in Unterwasseranwendungen
DeeperSense basiert auf dem übergreifenden Konzept des intersensorischen Lernens, bei dem eine Sensormodalität B von einer Sensormodalität A lernt. Auf diese Weise kann Sensor B eine Ausgabe liefern, die der von Sensor A ähnlich ist – sowohl in Bezug auf die Genauigkeit als auch auf die Art der Ausgabe und die Interpretation der Daten. Dazu beobachten Sensor A, z.B. eine Kamera, und Sensor B, z.B. ein Sonar, zeitgleich dieselbe Szenerie. Die gesammelten Sonardaten mit geringer Auflösung dienen einem künstlichen neuronalen Netz als Input, die hochaufgelösten Kameradaten als Output. Durch die schrittweise Anpassung des Netzes zum gewünschten Output lernt es die Beziehungen zwischen den Eingangs- und den Ausgangsdaten. Das Ergebnis ist ein Algorithmus, der – sobald er ausreichend trainiert ist – in der Lage ist, ein kameraähnliches Bild nur auf Grundlage der geringaufgelösten Sonardaten zu generieren. Im Projekt soll dieses Konzept in drei Kernalgorithmen realisiert werden, welche die spezifischen Anforderungen der Use Cases erfüllen.
Im ersten Use Case wird ein autonomes Unterwasserfahrzeug (AUV) eingesetzt, um Tauchende bei der Arbeit in trübem Gewässer zu überwachen. Üblicherweise übernimmt diese Aufgabe ein ferngesteuerter Roboter mit Kamera, der seine Daten an eine Kontrollstation übermittelt. Da optische Sensoren unter Wasser jedoch nur von eingeschränktem Nutzen sind, statten die Projektpartner das AUV zusätzlich mit einem Sonarsensor aus. Diesem wollen sie in DeeperSense beibringen, kameraähnliche Bilder zu liefern, die sich leicht vom menschlichen Personal der Kontrollstation interpretieren lassen.
Der zweite Use Case befasst sich mit der robotischen Erkundung komplexer und empfindlicher Unterwasserstrukturen wie Korallenriffen. Um detaillierte Umgebungskarten für eine verlässliche Hinderniserkennung erstellen zu können, setzt das Projekt auf die Kombination visueller und akustischer Sensoren. Die Herausforderung liegt hierbei im Abgleich der voneinander abweichenden Bildperspektiven. Dafür muss der zu entwickelnde Algorithmus in der Lage sein, in den Daten des einen Sensors identifizierte Objekte in denen des anderen wieder zu erkennen. So soll es einem autonomen Roboter in Zukunft möglich sein, durch ein Korallenriff hindurch zu navigieren anstatt nur darüber hinweg.
Nicht zuletzt wollen die Partner im dritten Use Case ein AUV dazu befähigen, präzise Karten des Meeresbodens anzufertigen. Noch werden diese Vermessungen kostspielig mithilfe von Schiffen durchgeführt. Kameras liefern hierbei ergänzende Informationen, die der Verifikation akustischer Daten dienen. In der Dunkelheit tiefer Gewässer ist dieses Verfahren jedoch nicht praktikabel. Aus diesem Grund soll das im Projekt eingesetzte AUV ausschließlich auf Basis akustischer Daten Sedimente am Meeresgrund klassifizieren. Dafür lernen die Sensoren mithilfe des DeeperSense-Konzepts ebenso detaillierte Karten verschiedener Meeresbodentypen zu erstellen, wie dies mit Kameras bei guten Sichtverhältnissen möglich wäre.
Algorithmenentwicklung und -optimierung im Labor und unter realen Bedingungen
Während des Projekts generieren die Partner umfassende Trainingsdaten für die drei Use Cases. Die Algorithmen werden mithilfe dieser Daten trainiert und sowohl im Labor als auch in umfangreichen Feldversuchen – u.a. in Binnengewässern, im Mittelmeer und im Roten Meer – unter realen Bedingungen getestet. Schließlich sollen die trainierten Algorithmen für den On-Board-Einsatz von Unterwasserfahrzeugen optimiert werden, um eine Echtzeitausführung zur Unterstützung des autonomen Roboterverhaltens zu ermöglichen. Die Ergebnisse will das Konsortium in Online-Repositorien, die in europäische Forschungsinfrastrukturen eingebettet sind, der Robotik-Community zugänglich machen.
Dieses Projekt wurde mit Mitteln aus dem Forschungs- und Innovationsprogramm Horizont 2020 der Europäischen Union unter der Fördervereinbarung Nr. 101016958 gefördert.
