No-IDLE – Grundlagen für kooperative und menschzentrierte KI: Wenn KI mit Menschen zusammenarbeitet

Mit No-IDLE schloss der Forschungsbereich IML erfolgreich erstmals ein strategisches Forschungsprojekt ab und entwickelte neue wissenschaftliche Grundlagen für Interactive Deep Learning (IDL) – einen Forschungsansatz, bei dem Menschen aktiv in Lern-, Entscheidungs- und Anpassungsprozesse von KI-Systemen eingebunden werden.
Gefördert durch das Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) verfolgte das Projekt die Vision, KI-Systeme zu schaffen, die nicht nur leistungsfähig, sondern auch verständlich, anpassungsfähig und kooperativ sind.

Mensch und KI gemeinsam denken

Im Zentrum von No-IDLE stand die Frage, wie Menschen und KI-Systeme effektiv zusammenarbeiten können – insbesondere in Situationen, in denen:

• nur wenige Daten verfügbar sind,
• Nutzerinnen und Nutzer keine ML-Expertise besitzen,
• Aufgaben hochgradig individuell oder kreativ sind,
• oder vollständig automatisierte Entscheidungen nicht sinnvoll sind.

Dabei untersuchte das Projekt, wie Menschen mit KI-Systemen interagieren können, die:

• Blickbewegungen interpretieren,
• Sprache als Feedback verstehen,
• medizinische Entscheidungen transparent erklären,
• oder kreative Aufgaben wie die Erstellung personalisierter Fotobücher unterstützen.

Technologisch verband No-IDLE moderne Deep-Learning-Ansätze mit Explainable AI (XAI), Foundation Models, multimodaler Interaktion und nutzerzentriertem Interaktionsdesign. Dazu gehörten unter anderem Eye Tracking, Virtual Reality, multimodale Mensch-Computer-Interaktion sowie sogenannte Mixed-Initiative-Systeme, bei denen Mensch und KI gemeinsam Initiative übernehmen können.

Ein zentrales Forschungsprinzip war dabei die sogenannte „binocular view“ aus dem Bereich Intelligent User Interfaces: Algorithmen und Benutzeroberflächen werden nicht getrennt entwickelt, sondern gemeinsam gedacht. Dadurch lassen sich technische Leistungsfähigkeit und Benutzerfreundlichkeit gleichzeitig optimieren.

Interaktive KI statt Black Box

Im Rahmen des Projekts entstanden zahlreiche interaktive KI-Systeme und Demonstratoren, die zeigen, wie KI transparenter, lernfähiger und nutzerorientierter gestaltet werden kann.

Mit CUTIE entwickelte das Projekt ein interaktives Human-in-the-Loop-System für personalisierte und kontextsensitive Bildunterschriften. Nutzerinnen und Nutzer können automatisch erzeugte Beschreibungen korrigieren, ergänzen oder kontextualisieren – etwa Personen oder Orte identifizieren – wodurch sich das System schrittweise an individuelle Präferenzen anpasst.
Das multimodale Annotationstool eyeNotate unterstützte die Analyse mobiler Eye-Tracking-Daten. KI-basierte Vorschläge halfen dabei, Blickbewegungen effizienter zu annotieren und multimodale Datenströme interaktiv auszuwerten.

Mit Train the Spire entstand zudem ein spielbasiertes System zur KI-gestützten Datenerhebung, das Methoden aus Gamification und Interactive Machine Learning kombiniert, um qualitativ hochwertige Trainingsdaten durch spielerische Interaktion zu erzeugen.

Darüber hinaus entwickelte No-IDLE VR-basierte Umgebungen für die interaktive Fotobucherstellung, in denen Nutzerinnen und Nutzer mittels Sprache, Blickinteraktion und Controller-Eingaben mit KI-Systemen zusammenarbeiten können.
Besonderes Augenmerk lag dabei auf multimodalen Formen menschlichen Feedbacks – etwa Sprache, Blickbewegungen, Gesten oder impliziten Interaktionsmustern. Dadurch entstanden KI-Systeme, die sich kontinuierlich an Nutzerverhalten anpassen und menschliche Rückmeldungen gezielt in Lernprozesse integrieren können.

Von Explainable AI zu vertrauenswürdiger KI

Ein zentrales Forschungsthema war die Frage, wie Vertrauen zwischen Menschen und KI entsteht. Denn selbst leistungsfähige Systeme verlieren ihren Nutzen, wenn ihre Entscheidungen nicht nachvollziehbar sind oder Nutzerinnen und Nutzer die Kontrolle verlieren.

Deshalb untersuchte No-IDLE nicht nur, wie KI-Systeme Entscheidungen erklären können, sondern auch, wie Vertrauen aufgebaut, beschädigt und wiederhergestellt wird.

Dafür wurden neue Verfahren entwickelt:

• zur nutzeradaptiven Generierung von Erklärungen,
• zur konzeptbasierten Erklärung medizinischer KI-Entscheidungen mithilfe sogenannter Concept Bottleneck Models,
• zur multimodalen Darstellung erklärbarer KI-Ausgaben,
• sowie zur Untersuchung von Vertrauensbildung und Vertrauenswiederherstellung in Mensch-KI-Interaktionen.

Insbesondere in sensiblen Transferdomänen wie der Medizin zeigte das Projekt, wie erklärbare und interaktive KI-Systeme Ärztinnen und Ärzte unterstützen können, ohne menschliche Expertise zu ersetzen. So entstanden unter anderem KI-basierte Entscheidungsunterstützungssysteme, die diagnostische Prozesse transparent machen und medizinisches Fachpersonal gezielt bei der Interpretation komplexer Bilddaten unterstützen.

Wissenschaftliche Exzellenz und nachhaltiger Transfer

Während der dreijährigen Laufzeit erreichte No-IDLE sämtliche definierten Projektmeilensteine und leistete grundlegende Beiträge an den Schnittstellen von:

• Interactive Machine Learning,
• Human-Computer Interaction,
• Explainable AI,
• multimodaler Interaktion,
• und Foundation Models.

Zu den wichtigsten Ergebnissen zählen:

• 50 peer-reviewte wissenschaftliche Publikationen,
• darunter 22 Full Papers,
• 17 studentische Abschlussarbeiten,
• 2 Dissertationen,
• sowie mehrere funktionsfähige Demonstratoren und Prototypen.

Die entwickelten Technologien und Methoden werden bereits in unterschiedlichen Anwendungsfeldern weiterverwendet – unter anderem in der medizinischen KI, nachhaltigen KI-Systemen, multimodalen Mensch-Maschine-Interaktionen sowie zukünftigen Human-AI-Collaboration-Projekten.

Gleichzeitig knüpft No-IDLE an zahlreiche standortübergreifende Forschungsaktivitäten des DFKI zu multimodaler, erklärbarer und menschenzentrierter KI an. Verwandte Fragestellungen werden unter anderem in den Bereichen Kognitive Assistenzsysteme, medizinische KI, kooperative KI-Systeme sowie interaktive Mensch-Maschine-Kommunikation bearbeitet.

Mit dem kürzlich gestarteten Projekt AMENABLE werden zentrale Forschungsthemen aus No-IDLE gemeinsam mit den Forschungsbereichen MAP und CAS weitergeführt. Damit stärkt das DFKI nicht nur die Forschung zu interaktiver und vertrauenswürdiger KI, sondern auch die Zusammenarbeit der Forschungsbereiche in Niedersachsen.

Beitrag zur nächsten Generation von KI-Systemen

No-IDLE zeigt, dass die Zukunft leistungsfähiger KI nicht allein in immer größeren Modellen liegt, sondern in Systemen, die Menschen verstehen, mit ihnen kooperieren und ihre Entscheidungen nachvollziehbar machen.

Die im Projekt entwickelten Grundlagen für Interactive Deep Learning leisten damit einen wichtigen Beitrag zu einer neuen Generation vertrauenswürdiger KI – kooperativ, transparent und menschenzentriert. Gleichzeitig stärkt No-IDLE Deutschlands Rolle als führenden Forschungsstandort für interaktive und vertrauenswürdige Künstliche Intelligenz.