Im Projekt news-polygraph entwickeln wir digitale Methoden für die Medienbranche, mit deren Hilfe multimediale Inhalte durch hybride KI einfacher und schneller auf Manipulationen, irreführende und falsche Inhalte überprüft werden können.
Motivation und Ziele Ziel des news-polygraph Bündnisses ist es, für die Medienbranche geeignete Lösungen zur frühzeitigen Erkennung von gefälschten Inhalten bzw. Falschinformationen zu entwickeln. Hierfür wird eine interaktive Plattform entwickelt, um die unterschiedlichen Verifizierungaufgaben von Journalisten zu unterstützen. Dazu werden KI-Tools entwickelt, die Texte, Bilder, Audio-Files und Videos auf unterschiedliche Merkmale, die auf Desinformation hinweisen, untersuchen, um die Arbeit der Journalisten zu vereinfachen.
Zusätzlich werden Transparenzkriterien, Erklärbarkeit der KI-Tools und die Prävention von Verzerrungen eine wichtige Rolle spielen, um die KI-Tools verlässlich und nachvollziehbar zu gestalten. Ebenfalls werden Prozesse entwickelt, um Crowdworker als „naive“, „geschulte“ und „Experten“ in den Falschnachrichtenerkennungsprozess mit journalistischen Experten zu integrieren, um Qualitätslücken bestehender KI-Modelle zu überbrücken und den journalistischen Prozess der Falschnachrichtenerkennung zu erleichtern/ beschleunigen. Insgesamt wird eine KI-basierte Plattform entwickelt, die Journalisten und Medienschaffende intuitiv, transparent und vor allem zeitsparend bei der Erkennung von Falschinformationen unterstützt.
In den sozialen Medien sind bewusst platzierte Falschinformationen längst ein bekanntes und weit verbreitetes Problem. Doch nicht nur die Anzahl manipulierter Medien nimmt rasant zu, auch die Qualität der gefälschten Inhalte steigt. Sogenannte Deepfakes, mit KI manipulierte Bild-, Audio- oder Videodateien, wirken zunehmend täuschend echt, so dass Fälschungen derzeit nur mit großem Aufwand durch Fact-Checking Experten identifiziert werden können.
Das news-polygraph-Bündnis besteht aus insgesamt zehn Partnern, die sich aus Industrie und Wissenschaft zusammensetzen. Die unternehmerische Ausrichtung des Bündnisses wird dabei durch fünf Unternehmen, Crowdee, delphai, neurocat, transfermedia und Ubermetrics unterstützt. In Verbindung mit den regionalen Partnern aus dem Anwendungsbereich, der Deutschen Welle und dem Rundfunk Berlin-Brandenburg hat das Bündnis Anwenderpartner, wo die KI-Tools und Plattform getestet und in den journalistischen Alltag integriert werden kann. Unterstützt werden die Unternehmen und Anwender dabei von den Wissenschaftspartnern DFKI, TU Berlin und Fraunhofer IDMT.
Im Rahmen des Projekts werden 2 Pilotanwendungen evaluiert: (1) „Fast Fact-Checking“ mit dem Praxispartner Rundfunk Berlin-Brandenburg (RBB), in dem wir die Prozesse der täglichen News-Evaluation in den Fokus nehmen; und (2) „Deep Fact-Checking“ mit dem Partner Deutsche Welle.
Das SLT trägt dabei maßgeblich Kompetenzen in den Bereichen:
- Fact-Checking, d.h. die Extraktion (Claim Extraction), Modellierung und der Abgleich relevanter Behauptungen aus einem Text mit Wissensdatenbanken
- Factuality and Checkworthiness, d.h. die Bewertung inhaltlicher Aussagen hinsichtlich Relevanz und Verifizierbarkeit
- Content Verification, d.h. die Überprüfung eines (multimedialen) Inhaltes auf dessen Verifizierbarkeit
- Herkunftsanalyse, auch „Provenance“ genannt, d.h. die Analyse von Ursprung und Verbreitung von Fake-News in (sozialen) Netzwerken inkl. Analyse der Quelle
- Fake-News Erkennung von Audiodaten, d.h. Authentifizierung / forensische Suche nach Manipulationsartefakten sowie Deep-Fake Erkennung von synthetisch erzeugten Daten, bspw. durch Voice Conversion (VC), Speech-to-Text (STT), Voice Cloning, Zero-Shot Learning Methoden (VALL-E)
- Fake-News Erkennung von Bild- und Videodaten, d.h. Authentifizierung / forensische Suche nach Manipulationsartefakten sowie Deep-Fake Erkennung von synthetisch erzeugten Daten, bspw. durch Bild- oder Videomanipulationssoftware oder durch KI synthetisch erzeugten Daten, bspw. Image-to-Image Translation, Diffusion-, GAN-, oder VAE-basierte Modelle.
- Fake-News Erkennung von Text-Daten, d.h. Authentifizierung / forensische Suche nach Manipulationsartefakten sowie Deep-Fake Erkennung von synthetisch erzeugten Daten, bspw. durch chatGPT, GPTx, PaLM, LLaMA, LaMDA, BARD, mT5, Gopher, Ernie, OPT-IML, Megatron etc.
- Spracherkennung, bspw. Automatic Speech Recognition (ASR), Multi-Lingual Speech Recognition
- Sprechererkennung, bspw. Automatic Speaker Recognition and Verification (ASV), Multi-Lingual Speaker Recognition
- Erkennung von Emotionen und Charakteristika aus Sprache, Text, Video/Images, Multimodal, bspw. Transformer-basierte Modelle, akustische- , linguistische- (Sprachmodelle / Language Models), und visuelle Modelle (Face Recognition, Facial Expression, Landmarks)
- Multi-Modale Fake-News Erkennung, bspw. Kombinationen von text- und bildbasierten Informationen in Social Media Posts, oder sprach- und videobasierte Informationen aus multimedia Daten
- Crowd-basierte KI-Unterstützung, bspw. automatisierte online Crowd- und Experten-Sourcing, Hybride (KI+Human) Prozessautomation für die Gewinnung hochqualitativer KI-Trainingsdaten.
- Crowd-basierte Unterstützung von Journalisten und Medienschaffende, bspw. automatisierte online Crowd- und Experten-Sourcing zu Fact-Check Communities, und deren Kombination mit KI-Intelligenz zur Einbindung in journalistische Prozesse
- Explainability, bspw. Faktoren zur Gewinnung von Vertrauen (Trust) durch Analyse der KI Transparenz, Bias, Fairness, Robustheit inkl. Visualisierung und Feedbackgenerierung (Natural Language Feedback) an beteiligte Crowds und Journalisten.
- KI im Bereich LLMs, Transfer-Learning, Cross-Lingual Learning, Continuous Learning, Frugal AI, RLHF,
Leitung: Dr. Tim Polzehl Herr Dr. Tim Polzehl leitet die KI-basierten Entwicklungen im Bereich sprachbasierte Anwendungen des Fachbereichs Speech and Language Technology. Zudem leitet der den Bereich "Next Generation Crowdsourcing and Open Data", ist aktives Mitglied der "Speech Technolgy" Gruppe des Quality and Usability Labs (QU-Labs) der Technischen Universität Berlin, und beschäftigt sich mit der Entwicklung und Verbesserung großer Sprachmodelle (LLMs)
Profil DFKI: https://www-live.dfki.de/web/ueber-uns/mitarbeiter/person/tipo02
Profil QU-Labs TU-Berlin: https://www.tu.berlin/index.php?id=29499/
Kontakt: tim.polzehl@dfki.de
Externe Webseite des Projekts: https://news-polygraph.com/
