Mit zwei Klicks gegen Deepfakes: DFKI und Partner stärken Medienkompetenz im Wahljahr
| Image Recognition & Understanding | Sprache & Textverstehen | Smarte Daten & Wissensdienste | Speech and Language Technology | Pressemitteilung
Das Projekt „Check First. Vote Smart“ dockt direkt dort an, wo sich politische Meinungsbildung in Rheinland-Pfalz zunehmend abspielt: in den Social-Media-Feeds auf dem Smartphone. Statt Nutzerinnen und Nutzer auf externe Plattformen umzuleiten, fügt sich der Deepfake-Check als niedrigschwellige Zusatzfunktion in ihren Alltag ein.
- Verdächtige Bilder können mit zwei Klicks aus Instagram an einen speziellen Detektor-Bot weitergeleitet werden.
- Im Hintergrund analysiert der KI-Detektor, ob das Material KI-generiert oder manipuliert ist – und wenn ja, auf welche Weise.
- Die Nutzerinnen und Nutzer erhalten eine Einordnung: Wie wahrscheinlich ist ein Fake und welche Spuren deuten darauf hin?
„Unsere Demokratie muss standhalten: KI-gesteuerte Bots simulieren gesellschaftliche Mehrheiten, Deepfakes verfälschen Aussagen, ausländische Akteure greifen gezielt in Wahlkämpfe ein. Wir entwickeln KI, die diese Manipulationen aufdeckt – bevor sie verfangen.“
KI-Detektion gegen die Flut der Fakes
Die Idee dahinter stammt aus dem DFKI und der Ausgründung Gretchen AI, die Deepfake-Erkennung mit kontextueller Faktenprüfung verbindet. Anders als klassische Ansätze, die nur auf Pixelartefakte schauen, kombiniert der Ansatz forensische Bild- und Audioanalyse mit einer Art „logischem Gegenlesen“: KI-Agenten recherchieren parallel im Netz, gleichen Metadaten, Orte, Personen und Ereignisse ab und beziehen geprüfte Faktenbanken ein – unter anderem über eine enge Kooperation mit dem Faktencheck-Team der dpa.
„KI bedeutet Veränderung in vielen Bereichen unseres Lebens. Wichtig dabei ist, die KI nicht nur als eine Bedrohung für unsere Realität und Demokratie zu sehen. KI ist gleichzeitig unser stärkster Verteidiger! Es ist Zeit, sie mutig dafür einzusetzen. Gretchen AI ist genau dafür entwickelt worden: Wir vereinen weltweit führende KI-Expertise und die Erfahrung professioneller Faktenchecker und setzen neue Standards für die Verlässlichkeit der Deepfake-Erkennung.“
„Desinformation gehört zu den drängendsten Herausforderungen für unsere Demokratie. Gerade in einem Wahljahr, in dem Bürgerinnen und Bürger täglich mit manipulierten Inhalten konfrontiert werden können, ist Medienkompetenz eine Schlüsselkompetenz.“
So funktioniert der 2-Klick-Check
- Verdächtigen Post auf Instagram auswählen.
- Über die Teilen-Funktion an den Checker-Account „gretchen_ai_berlin“ senden, es meldet sich der KI-Detektor.
- Nutzerinnen und Nutzer erhalten eine Einschätzung zur Wahrscheinlichkeit eines Fakes und eine kurze Einschätzung zu Einflussfaktoren.
- KI und Faktencheck Expert*innen prüfen ausgewählte oder uneindeutige Bilder, auch Metadaten und Kontext – inklusive Abgleich mit geprüften Quellen.
- Alle Schritte sind datenschutzkonform, es werden nur die für die Analyse notwendigen Inhalte verarbeitet.
Was die KI-gestützte Software im Hintergrund prüft
Hinter „Check First. Vote Smart“ verbirgt sich ein ganzes Arsenal an Detektionsverfahren: In der Beta-Phase sollen mehr als 80 verschiedene Manipulationsarten erkannt werden – von klassischen Deepfake-Videos bis hin zu scheinbar harmlosen Screenshots.
- Visuelle Eingriffe: Face-Swap, Lip-Sync-Manipulationen oder Image Splicing, bei dem echte Fotos zu einer irreführenden Szene zusammengesetzt werden.
- Akustische Fakes: Voice Cloning, das aus wenigen Minuten Audio eine täuschend echte Stimmkopie erzeugt, und Audio Splicing, bei dem echte Zitate neu montiert werden.
- Text- und Kontextfälschungen: gefälschte Screenshots mit erfundenen Zitaten, echte Aussagen, die in einen falschen Kontext gestellt werden, oder das „Liar’s Dividend“, wenn echte, unangenehme Aussagen im Nachhinein als angebliche KI-Fakes abgetan werden.
- Hybride Angriffe: Doppelgänger-Websites, die seriöse Medien täuschend echt kopieren, oder KI-gesteuerte „AstroTurfing“-Kampagnen, bei denen unzählige leicht variierte Bot-Posts eine künstliche Stimmung simulieren.
Technisch setzt das Team auf moderne Architekturen aus der Deepfake-Erkennungsforschung. Dazu gehören etwa Mamba-basierte Modelle wie BiCrossMamba-ST, die spektrale und zeitliche Muster in Daten getrennt auswerten, um feinste Unregelmäßigkeiten und synthetische Spuren aufzuspüren. In internationalen Benchmarks wie der Environmental Sound Deepfake Detection Challenge (ESDD 2026) erreichen DFKI-Modelle Spitzenplätze, wenn es darum geht, Fakes auch von bislang unbekannten Generatormodellen zu unterscheiden.
Gleichzeitig bleibt der Einsatz für die Bürgerschaft bewusst niedrigschwellig: keine zusätzliche App, keine komplizierte Anmeldung, sondern ein Direktkanal in der bestehenden Instagram-Oberfläche. „Wir nutzen ausschließlich Funktionen, die Instagram ohnehin bereitstellt – Direct Message, Teilen, Weiterleiten“, betont das Team, das die Umsetzung DSGVO-konform gestaltet.
Den KI-Detektor für Bildanalyse hat das Team bereits im Sozialen Netzwerk Instagram verfügbar gemacht, Videoanalyse und die Analyse nach früheren Kontexten und Originalmaterial gibt es auf der Dashboard Lösung von Gretchen AI.
Aus dem Labor in den Wahlkampf
Das Projekt startet als Beta-Phase mit bis zu 10.000 Wählerinnen und Wählern in Rheinland-Pfalz, die verdächtige Inhalte melden und eine Einschätzung dazu erhalten – und zugleich Teil eines Forschungsprojekts werden. Die Forschenden wollen unter anderem verstehen, welche Fälschungen bei welchen Gruppen besonders überzeugend wirken, wie nützlich KI-Detektoren sind und ob Wähler*innen ihnen vertrauen – und wie mit Fehleinschätzungen umgegangen wird. Dazu stellt das Team ein KI-Quiz auf Instagram bereit.
Ein früher Proof-of-Concept wurde bereits mit der dpa getestet, etwa bei der Analyse manipulierter Parteitagsvideos, in denen Tonspuren ausgetauscht und mit skandalisierenden Inhalten unterlegt wurden. In einem Fall bewertete die KI die Audiospur eines viralen Videos mit einer Wahrscheinlichkeit von über 60 Prozent als Fake – ein Wert, den DFKI-Forscher Tobias Wirth als deutlich zu hoch einstuft, um das Material noch als „gefühlte Realität“ durchgehen zu lassen.
“Die Qualität mancher Deepfakes ist leider oder bewusst so schlecht, sodass eine Fakeerkennung erschwert wird. KI-gestützte Deepfake-Erkenner sind Wahrscheinlichkeits-basiert und können keine eindeutigen forensischen Beweise liefern. Sicherlich sieht man die Wahrscheinlichkeit von über 60 Prozent als zu hoch an, als dass subjektives Empfinden das Video als 'Real' einstufen würde. Desinformation setzt aber genau an dem subjektiven Umgang mit Informationen mit Unsicherheit an.”
Die LpB erhofft sich durch den Einsatz der Software mehr digitale Souveränität für Bürgerinnen und Bürger.
„Wer weiß, wie Desinformation funktioniert und Inhalte im Zweifel überprüfen kann, lässt sich weniger verunsichern und trifft politische Entscheidungen auf informierter Grundlage. Das stärkt nicht nur die individuelle Medienkompetenz, sondern auch das Vertrauen in demokratische Institutionen und politische Prozesse.“
Die LpB will die Erfahrungen aus dem Projekt nutzen, um weitere niedrigschwellige Formate im Bereich Desinformation und KI zu entwickeln. So plant sie 2027 beispielsweise einen Fachtag speziell zu KI und Wahlen.
Werkzeuge für Medien, Bildung und Behörden
Für das DFKI ist das Projekt mehr als ein Einzelbeitrag zur Landtagswahl, sondern ein Testfeld für eine neue Generation von Werkzeugen gegen hybride Bedrohungen aus generativer KI. Schon heute kommen Deepfake-Erkennung und Kontextanalyse von Gretchen AI in professionellen Umgebungen zum Einsatz – von Newsrooms über Behörden bis hin zu Unternehmen, die ihre Marke gegen manipulierte Videos schützen müssen.
Die Ausgründung aus dem DFKI wurde im Rahmen des SPRIND-Programms „Deepfake Detection and Prevention“ ausgezeichnet und arbeitet eng mit der dpa zusammen, die Deutschlands größtes Faktencheck-Team betreibt.
Langfristig sehen die Projektpartner mehrere mögliche Ausbaustufen: die Übertragbarkeit auf andere Wahlen, die Integration weiterer Plattformen wie TikTok sowie Werkzeuge, mit denen Schulen, Volkshochschulen oder Initiativen der politischen Bildung eigenständig Deepfake-Workshops durchführen können. „Wir müssen nicht nur Fakes entlarven, sondern Medienkompetenz auf dem Stand von 2026 vermitteln“, betont das Team – inklusive verständlicher Erklärungen, welche Spuren ein System gefunden hat und wie es zu seiner Einschätzung gelangt.
Contact:
Dr. Tobias Wirth
Themenfeldleiter GeT-AI, Forschungsbereich Smarte Daten & Wissensdienste, DFKI Kaiserslautern
- Tobias.Wirth@dfki.de
- Phone: +49 631 20575 1370
Dr.-Ing. Tim Polzehl
Forschungsbereich Speech and Language Technology, CEO Gretchen AI, DFKI Berlin
- Tim.Polzehl@dfki.de
- Phone: +49 30 23895 1863
Bernhard Kukatzki
Direktor, Landeszentrale für politische Bildung Rheinland-Pfalz
- lpb.zentrale@lpb.rlp.de
- Phone: 06131 16 2970
Press contact:
Jeremy Gob
Referent & Wissenschaftlicher Redakteur, DFKI Kaiserslautern
- Jeremy.Gob@dfki.de
- Phone: +49 631 20575 1730
Peter Malzkorn
Referent Presse und Kommunikation, LpB Rheinland-Pfalz
- presse@lpb.rlp.de
- Phone: 0 61 31 - 16 29 84
Further information:
- Werden Sie Teil unserer Studie zu KI Bildern auf Instagram
Im Rahmen dieser Studie möchten wir Sie bitten, auf Instagram eine Reihe von Bildern zu bewerten. Ihre Aufgabe besteht darin, jedes Bild hinsichtlich seiner wahrgenommenen Echtheit zu bewerten, dieses in Instagram mittels eines KI-Tools prüfen zu lassen und anschließend einige Fragen dazu zu beantworten. Die Bearbeitung dauert etwa 15 Minuten. Ihre Teilnahme ist anonym, und alle Daten werden vertraulich behandelt.