Skip to main content Skip to main navigation

Projekt | SAgA

Laufzeit:
Safe-by-Design Agentic AI

Safe-by-Design Agentic AI

Anwendungsfelder

  • Sonstige

SAgA (Safe-by-Design Agentic AI) ist ein dreijähriges Projekt (Oktober 2026 bis September 2029), das vom Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) gefördert wird und am DFKI angesiedelt ist. Es entwickelt ein neurosymbolisches Framework für KI-Agenten, deren Normen explizit in einer symbolischen Ebene rund um das Modell festgehalten werden, wo Menschen sie überprüfen, hinterfragen und aktualisieren können. Die Ebene trennt verschiedene normative Bereiche voneinander (Recht, Unternehmensrichtlinien, Ethik, Kontext und Kultur, persönliche Präferenzen) und kombiniert sie unter Angabe von Gründen zu dem, was der Agent insgesamt tun darf. Sie steuert das Modell zur Laufzeit bis hin zu seinen internen Aktivierungen, wobei die Gewichte unverändert bleiben, und eine Schutzvorrichtung überprüft jede vorgeschlagene Aktion vor der Ausführung, sodass die Regeln als strenge Grenzen gelten, unabhängig davon, ob jemand zusieht oder nicht. Fälle, die diese Ebene nicht klären kann, werden an einen menschlichen Aufseher weitergeleitet. Das Projekt arbeitet mit bestehenden Modellen mit offenen Gewichten und umfasst drei Schwerpunkte: die Extraktion normativer Erwartungen, die Steuerung sowie die sichere Aufgabenfindung und -planung. Die Architektur wird in simulierten Umgebungen getestet; die Veröffentlichung von Code und Benchmarks ist geplant.

Fördergeber

BMFTR - Bundesministerium für Forschung, Technologie und Raumfahrt

BMFTR - Bundesministerium für Forschung, Technologie und Raumfahrt