Skip to main content Skip to main navigation

Immergensim: EU-Projekt CORTEX² bringt XR in den Kriseneinsatz

| Pressemitteilung | Lernen & Bildung | Virtual & Augmented Reality | Erweiterte Realität | Kaiserslautern

In humanitären Krisen bleibt keine Zeit für Versuch und Irrtum. Umso wichtiger sind intensive Vorbereitung und realitätsnahes Training. Mit Immergensim – entwickelt im EU-Projekt CORTEX² – trainieren Einsatzkräfte kritische Szenarien in immersiven XR-Umgebungen: sicher, wiederholbar, flexibel.

© Lando Michael Lehmann, DFKI
Immersives Krisentraining mit XR: Das Keyvisual zeigt eine mögliche virtuelle Einsatzsimulation, realisiert mit Extended Reality.

Mentorin Maud bleibt ruhig. Die KI-gestützte Beraterin blickt dem Team fest ins digitale Gesicht. Draußen, im virtuellen Krisengebiet, steigt das Wasser – dicht gefolgt von einem Erdrutsch. Die Helfer*innen sind neu im Einsatz - aber sie sind vorbereitet. Nicht durch reale Großübungen, sondern durch einen immersiven Probelauf, der Handlungsfähigkeit unter Stress vermittelt und dafür sorgt, dass jeder Handgriff im Ernstfall sitzt. Innerhalb der Simulation wacht Mentorin Maud über das Team. Sie unterstützt es bei Entscheidungen, stellt Ressourcen zur Verfügung, beantwortet Fragen und hilft den Teammitgliedern, die Instinkte zu entwickeln, die sie in echten Notfällen brauchen.

Was wie Zukunft klingt, ist bereits Realität: Im Rahmen von CORTEX² haben Forschende am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) eine flexible Infrastruktur geschaffen, die humanitären Einsatzkräften virtuelle Krisentrainings ermöglicht. Das immersive Trainingssystem Immergensim wurde im Subprojekt XRisis von XR Ireland in enger Kollaboration mit Action Contre la Faim (ACF) entwickelt und greift direkt auf diese technologische Plattform zurück.

Von der Pandemie zur Plattform

Alain Pagani, Leiter von CORTEX² und stellvertretender Leiter im Forschungsbereich Erweiterte Realität am DFKI

"Die Idee zu CORTEX² entstand am DFKI mitten in der COVID-19-Pandemie. Während viele Arbeitsprozesse erfolgreich ins Homeoffice verlagert wurden, zeigte sich ein gravierender Mangel: Für Aufgaben, die räumliche Präsenz, visuelle Zusammenarbeit oder physisch-gestische Interaktion erforderten, fehlten geeignete digitale Werkzeuge."

Alain Pagani, Leiter von CORTEX² und stellvertretender Leiter im Forschungsbereich Erweiterte Realität am DFKI

Klassische Videokonferenzen stießen hier an ihre Grenzen. Es mangelte an Lösungen, die mehr als Bild und Ton übertragen – nämlich Präsenz, Interaktion und Echtzeit-Koordination im dreidimensionalen Raum. Deshalb entwickelte das DFKI gemeinsam mit europäischen Partnern CORTEX²: eine modulare Plattform für kooperative Extended Reality, die realzeitfähige Kommunikation, KI-Integration und immersive Lernräume verbindet.

Wie sich technische Unterstützung auch aus der Ferne intuitiv und präzise realisieren lässt, demonstriert unser praktisches Anwendungsbeispiel:

CORTEX² - Infrastruktur für immersiven Zusammenhalt

Im Kern bietet CORTEX² eine Architektur, die auf Interoperabilität und Anpassbarkeit ausgelegt ist. Das bedeutet: CORTEX² stellt nicht nur eine Anwendung, sondern eine plattformfähige Infrastruktur bereit – offen für Adaption, Erweiterung und sektorübergreifende Nutzung. Dazu gehören ein Echtzeit-Kommunikationssystem, ein Avatarisierungssystem zur Wahrung digitaler Identität, virtuelle Gesprächspartner auf KI-Basis, ein automatisiertes Auswertungstool für Gespräche sowie eine Echtzeit-Modellierung realer Objekte. Ein IoT-Server ermöglicht zusätzlich die Anbindung physischer Geräte an virtuelle Szenarien.

Dafür haben die Forschenden auf das Produkt Rainbow von Alcatel Lucent Enterprise aufgebaut, ein kommerzielles Tool für Videokonferenzen, vergleichbar mit Anwendungen wie Teams und Zoom. Diverse Funktionen des Rainbow Cores wurden dann in ein funktionales Framework für XR-Anwendungen überführt. Dieses wiederum stellt aus einem Baukasten von Funktionen und Tools eine Vielzahl an KI-Anwendungen zur Verfügung, um die individuellen Bedarfe der Anwender zu erfüllen:

  • Rainbow CPaaS (Alcatel-Lucent): sichere Sprach- und Videoverbindungen in XR-Räumen
  • VCAA (DFKI): Video Compression Alternative Appearance – ein Avatarisierungssystem zur Wahrung von Präsenz und Identität
  • CoVA (CEA): Conversational agentes - KI-basierte virtuelle Gesprächspartner
  • Summarisation Agent (Linagora): automatische Gesprächszusammenfassungen für Nachbereitung & Analyse
  • CORTEX IoT Server: Verwaltung und Integration von IoT-Geräten in Extended-Reality-(XR)-Anwendungen
  • 3D reconstruction: Die Echtzeit 3d-Modelierung von realen Gegenständen im virtuellen Raum

All diese und weitere Services werden durch CORTEX², unter Berücksichtigung von Datenschutz, Skalierbarkeit und technischer Resilienz – und vor allem mit Blick auf reale Bedarfe, bereitgestellt.

Immergensim: Trainingsinnovation im Einsatz

Mit XRisis wurde im CORTEX²-Konsortium ein Projekt geschaffen, das gezielt die gravierenden Lücken in der Ausbildung humanitärer Einsatzkräfte adressiert. Klassische Trainings kommen durch hohe Kosten, eingeschränkte Reichweite und mangelnde Realitätsnähe schnell an ihr Limit, insbesondere für lokale Akteure mit begrenzten Ressourcen. Gemeinsam mit Action Contre la Faim entwickelte XR Ireland die immersive Simulationsplattform Immergensim, um diesen Engpässen zu begegnen: durch niedrigschwellige, interaktive Trainingsformate, die auf Desktop oder VR-Headset lauffähig sind und reale Notfallszenarien in einer virtuellen Umgebung abbilden.

XR im humanitären Einsatz

Immergensim begegnet den genannten Herausforderungen mit einem immersiven Trainingskonzept, das sich in drei eng verzahnte Module gliedert: den Einstieg bildet eine individualisierte Einführung durch die KI-gestützte Mentor-Avatarin „Maud“. Im Anschluss trainieren Teams in einer virtuellen Krisenstab-Umgebung kooperatives Entscheiden unter Zeitdruck, bevor sie im dritten Schritt Maßnahmen direkt in simulierten Notfallszenarien mit Echtzeit-KI-Unterstützung umsetzen. 

Diese modularen Übungseinheiten – von der Erstinformation über das gemeinsame Situationsverständnis bis zur strategischen Umsetzung – sind so konzipiert, dass sie sich flexibel an unterschiedliche humanitäre Szenarien anpassen lassen. Interaktive „Injects“ und dynamische Entscheidungsverläufe machen das Training lebendig, praxisnah und lernwirksam.

Die technologische Umsetzung basiert auf einer gezielten Adaption zentraler CORTEX²-Komponenten: Die Integration des Kommunikationsdienstes Rainbow in die Unity-Umgebung ermöglichte unter anderem Voice-Calls, Bubble-Meetings und die Interaktion zwischen realen und virtuellen Teilnehmer*innen in einer konsistenten XR-Umgebung. Die ursprünglich hardwareintensive Komponente VCAA wurde eigens für Immergensim durch einen Web-basierten Avatar-Emulator ersetzt, der mit MediaPipe, WebRTC und React arbeitet – und damit auch auf leistungsschwächerer Hardware zuverlässig funktioniert.

Darüber hinaus kamen CoVA und der Summarisation Agent zum Einsatz, um digitale Feedbackgespräche, Briefings und After-Action-Reviews strukturiert zu erfassen, auszuwerten und in die Nachbereitung zu integrieren. Diese Architektur macht Immergensim zu einer simulationsbasierten Trainingslösung, die nicht nur technologisch innovativ, sondern auch in ressourcenlimitierten Einsatzkontexten – etwa in NGOs oder Feldbüros – voll einsatzfähig ist.

Wirkung, Auszeichnung und Perspektiven

Die Resonanz aus dem Feld bestätigt das Potenzial von Immergensim eindrucksvoll: Rund die Hälfte der Teilnehmenden vergab die Höchstwertung. Besonders hervorgehoben wurden das gezielte Softskill-Training (4,2 von 5 Punkten) sowie die Zusammenarbeit im virtuellen Krisenstab (3,6 von 5 Punkten). Auch ohne Headset überzeugte das immersive Training – ein Mitarbeiter von Action Contre la Faim betonte: „Die Nutzung von VR und KI-Avataren verbessert den Trainingswert erheblich – selbst auf dem Laptop.“

Diese Rückmeldungen flossen direkt in die Weiterentwicklung des Systems ein: Die gewonnenen Erkenntnisse werden nun genutzt, um das Trainingsangebot auf weitere Kontexte zu übertragen und in eine modulare Plattform für digitale Krisensimulation zu überführen.

Auch die externe Wahrnehmung spricht eine klare Sprache: Im Jahr 2025 wurde Immergensim mit dem Unity for Humanity Grant ausgezeichnet, was sowohl die technologische als auch die soziale Relevanz des Projekts unterstreicht. Gefördert wird nun der Aufbau eines Low-Code SimEx Builders, mit dem NGOs weltweit eigene XR-Simulationen gestalten können – ohne Entwicklungsressourcen, aber mit Zugang zur leistungsfähigen CORTEX²-Infrastruktur. 

Die Einsatzmöglichkeiten reichen dabei weit über den humanitären Bereich hinaus. Was sich in Krisensituationen bewährt, lässt sich auch in anderen Sektoren sinnvoll adaptieren: etwa für Notfallübungen in Industrie und Energieversorgung, Triage-Trainings im Gesundheitswesen, Story-based Learning in der Bildung oder Einsatzszenarien in Smart Cities. 

Die Projektpartner XR Ireland und Action Contre la Faim ziehen dabei drei zentrale Lehren: 

Mark RODDY, EU Project lead XRisis, XR Ireland

„Wirklich wirksame Innovation entsteht, wenn Technologiepartner die Realität der Nutzerorganisationen nicht nur kennen, sondern gemeinsam mit ihnen gestalten. Erfolg braucht nicht die perfekte Lösung von Anfang an, sondern mutige Prototypen, die Schritt für Schritt reifen. Und nicht selten liegt die zukunftsweisendste Antwort in einer Richtung, die zunächst nicht in Betracht gezogen wurde.“

Mark RODDY, EU Project lead XRisis, XR Ireland

CORTEX² zeigt: Die Technologien für eine resiliente, vernetzte Zukunft sind einsatzbereit. Lassen Sie uns gemeinsam immersive XR-Lösungen für Ihre Herausforderungen realisieren.

Kontakt:

Dr.-Ing. Alain Pagani

Leiter von CORTEX² und stellvertretender Leiter Erweiterte Realität, DFKI

Pressekontakt:

Jeremy Gob

Wissenschaftlicher Redakteur & Referent für Öffentlichkeitsarbeit, DFKI

Weitere Informationen: