DFKI und Inria entwickeln robuste KI für Gebärdensprachübersetzung

Bestehende Gebärdensprach-Systeme können bereits gesprochene oder geschriebene Sprache in Gebärdensprache übertragen und mithilfe von Avataren visualisieren. In der Praxis stoßen sie an Grenzen: Mimik und Körpersprache werden oft nur ungenau wiedergegeben, Bedeutungsaspekte gehen verloren und die Darstellung wirkt häufig unnatürlich.

Das auf drei Jahre angelegte Projekt setzt genau hier an: Es verbessert sowohl die Übersetzung von Text in Gebärdensprache als auch die Umwandlung von Gebärdensprache aus Videos in geschriebene Sprache. Durch moderne Verfahren wie multimodale neuronale Netze, selbstüberwachtes Lernen und große Sprachmodelle sollen bestehende Hürden – etwa begrenzte Datenverfügbarkeit, mangelnde Generalisierbarkeit und unnatürliche Übersetzungen – überwunden werden. Ein wichtiger Baustein ist der Aufbau neuer Datenressourcen, darunter umfangreiche parallele Korpora aus Gebärdensprach-Videos und damit verknüpften Texten.

Am Ende des Projekts steht ein Prototyp für automatische Übersetzungen in beide Richtungen – zwischen Deutsch und DGS sowie Französisch und LSF. Die gebärdende Ausgabe erfolgt über einen Avatar, der Inhalte realistisch mit Ganzkörperbewegungen, Mimik und emotionalem Ausdruck darstellt.

Neben wissenschaftlichen Fortschritten verfolgt RoGSiLT ein klares gesellschaftliches Ziel: Die entwickelten Technologien sollen Barrieren abbauen und neue Kommunikationsmöglichkeiten eröffnen – in Bildung, Arbeitswelt und beim Zugang zu Informationen. Damit leistet das Projekt einen Beitrag zur Umsetzung europäischer und internationaler Strategien für Inklusion und Barrierefreiheit, wie dem European Accessibility Act und der UN-Behindertenrechtskonvention.

RoGSiLT ist bereits das neunte gemeinsame Projekt von DFKI und Inria. Die Zusammenarbeit baut auf vorhandenen Stärken auf: Beide Partner bringen umfangreiche Datensätze ein – darunter Gebärdensprachdaten aus früheren Forschungsprojekten sowie mehr als 300 Stunden Videomaterial aus Nachrichtensendungen. Gleichzeitig ergänzen sich die fachlichen Schwerpunkte: Während Inria besondere Expertise im maschinellen Lernen und in gesprochener Sprache besitzt, verfügt das DFKI über langjährige Erfahrung in der Modellierung von Gebärdensprach-Elementen.

Ein besonderer Schwerpunkt liegt auf der Zusammenarbeit mit der Gehörlosen-Community, die aktiv in Entwicklung und Evaluation eingebunden wird. Die entwickelten Systeme werden gemeinsam mit Nutzerinnen und Nutzern erprobt und bewertet, um ihre Alltagstauglichkeit sicherzustellen. Alle wesentlichen Projektergebnisse werden als Open Source zugänglich gemacht, um Innovationen in Forschung und Industrie weiter voranzutreiben und die Entwicklung inklusiver Technologien oder die Bereitstellung barrierefreier Inhalte nachhaltig zu fördern.

Die Ergebnisse des Projekts versprechen nicht nur bessere Zugänge zu Bildung, Arbeitsmarkt und gesellschaftlicher Teilhabe für gehörlose Menschen, sondern bieten zugleich konkrete Vorteile für öffentliche Institutionen, Medien, das Gesundheitswesen und die Wirtschaft – indem sie Kommunikation erleichtern und barrierefreie Dienstleistungen verbessern.