Ziel des Projekts ist die Entwicklung einer technologischen Plattform für die wissenschaftlich fundierte Validierung von Phänotypen für psychiatrische Störungen auf der Grundlage multimodaler Eingaben wie Sprache, Video und Biosignale aus klinischen sozialen Interaktionen. Dazu sammeln die Forscherinnen und Forscher Daten aus Videoaufzeichnungen, Gesprächen, aber auch aus der Gehirn- oder Herzaktivität (EEG, EKG).
Bei der Auswertung der Sprachdaten erfolgt nicht nur eine semantische, sondern auch eine paralinguistische Analyse, wobei Phänomene wie Sprechgeschwindigeit, Wiederholungen und Satzmelodie untersucht werden.
Das MePheSTO-Team führt diese Sprach-, Bild- und Biodaten zu einem multimodalen Korpus zusammen. Aus der Vielzahl der heterogenen Daten klassifizieren Verfahren des Maschinellen Lernens wie Deep Learning die Verhaltensmuster und ordnen sie einem psychiatrischen Erkrankungsbild zu.
Zusätzlich wird untersucht, inwieweit passive Handydaten wie Standortinformationen oder Bewegungsmuster dazu herangezogen werden können, das Verhalten von Patientinnen und Patienten im Alltag zu messen und zu bewerten. Damit könnte unter Umständen ein drohender Rückfall, z.B. eine beginnende manische Phase bei einer bipolaren Störung, frühzeitig erkannt oder vorhergesagt werden. Dem Schutz personenbezogener Daten wird durch einen projektspezifischen DSGVO-konformen Katalog technischer und organisatorischen Maßnahmen (TOMs) Rechnung getragen.
In MePheSTO arbeiten Wissenschaftler und Wissenschaftlerinnen aus den Bereichen Sprach- und Dialoganalyse, Computer Vision und Maschinelles Lernen aus dem DFKI und von INRIA in einer Forschungskerngruppe zusammen. Neben den wissenschaftlichen Zielen streben die Projektpartner die Einrichtung eines multidisziplinären, deutsch-französischen Expertenteams während der nächsten drei bis fünf Jahre an. Dazu haben DFKI und INRIA am 22. Januar 2020, dem ersten Jahrestag des Aachener Vertrags, in einem Memorandum of Understanding den Grundstein gelegt. MePhesto baut auf einer Linie von Forschungsprojekten im Gesundheitsbereich auf, die im Rahmen der europäischen Förderstrukturen EIT Health und EIT Digital realisiert wurden.
Projektinformationen
Fördergeber: Bundesministerium für Bildung und Forschung
Volumen: 3 Mio. Euro
Laufzeit: 1.8. 2020 – 31.7. 2023
Partner
Deutsches Forschungszentrum für Künstliche Intelligenz – DFKI, Saarbrücken
Institut National de Recherche en Informatique et Automatique – INRIA, Nancy
Centre Hospitalier Universitaire de Nice (Prof. Dr. Philippe Robert)
Universitätsklinikum Saarland (Prof. Dr. Matthias Riemenschneider)
Centre Psychothérapique de Nancy (Prof. Dr Vincent Laprevote)
Centre Hospitalier Montperrin, Aix-en-Provence (Dr. Sophie Barthelemy)
Universitätsklinik für Psychiatrie und Psychotherapie an der Karl-Jaspers-Klinik, Oldenburg (Prof. Dr. René Hurlemann)
Weitere Informationen
https://www.dfki.de/web/news/inria-und-dfki-unterzeichnen-memorandum-of-understanding-fuer-ki-zusammenarbeit
www.inria.fr
https://eithealth.eu