Project | NoIDLEChatGPT

Das Projekt "No-IDLE meets ChatGPT" zielt darauf ab, die Mensch-Maschine-Interaktion bei der Aktualisierung von Deep-Learning-Modellen (DL) zu verbessern, indem die Mensch-Computer-Interaktion (HCI) mit dem maschinellen Lernen (ML) verbunden wird. Es führt einen neuen Aspekt ein, bei dem ChatGPT und andere große Sprachmodelle (LLMs) in die interaktive Erstellung von Fotobüchern integriert werden, um ihre Fähigkeiten bei der Bildsuche, der Beschriftung und bei Erkennungsaufgaben zu testen. Der Vorschlag erforscht, wie LLMs, einschließlich GPT-4, zu einem besseren Verständnis von Szenen und zu vernünftigen Schlussfolgerungen in KI-Systemen wie No-IDLE beitragen können. Er erwähnt auch das Konzept des Automatic Prompting für LLMs und die Untersuchung anderer LLMs neben ChatGPT, wie Bard und Claude. Das Projekt zielt darauf ab, sowohl proprietäre als auch Open-Source-Modelle zu nutzen, um verschiedene Anwendungsaufgaben im Fotobuch-Kontext zu verbessern, einschließlich der cross-modalen Bild-Sprache-Suche und des visuellen Geschichtenerzählens.