Publication
Neuronale Maschinelle Übersetzungsverfahren zur Übersetzung von Text in Gebärdensprachglossen
Dele Zhu; Vera Czehmann; Eleftherios Avramidis
In: DAS ZEICHEN - Zeitschrift für Sprache und Kultur Gehörloser (DAS ZEICHEN), Vol. 38, No. 122, Pages 112-145, Gesellschaft für Gebärdensprache und Kommunikation Gehörloser e.V. 4/2024.
Abstract
Für die maschinelle Übersetzung (Machine Translation, MT) von gesprochener Sprache in Gebärdensprachglossen werden State-of-the-Art-Techniken eingesetzt, die in der ressourcenarmen MT Verwendung finden. In unseren Experimenten verbessern wir die Leistung transformerbasierter Modelle durch (1) Datenanreicherung, (2) teilüberwachte neuronale maschinelle Übersetzung (NMT), (3) Transferlernen und (4) mehrsprachige NMT.
Die vorgeschlagenen Methoden werden schrittweise auf zwei Korpora der Deutschen Gebärdensprache (DGS) mit Glossenannotationen angewendet. Die mehrsprachige NMT in Kombination mit der Datenanreicherung scheint mit statistisch signifikanten Verbesserungen die erfolgreichste Einstellung zu sein, gemessen an drei automatischen Metriken (bis zu mehr als 6 BLEU-Punkte und durch eine menschliche Bewertung bestätigt. Das unter Berücksichtigung der von uns vorgeschlagenen Methoden am besten trainierte Modell wird auch durch ein Korpus der Amerikanischen Gebärdensprache (ASL) bestätigt und übertrifft alle früheren Arbeiten, die über denselben Testdatensatz berichten.