Publikation
Zertifizierung von KI-Systemen, Kompass für die Entwicklung und Anwendung vertrauenswürdiger KI-Systeme
Jessica Heesen; Jörn Müller-Quade; Stefan Wrobel; Jürgen Beyerer; Gunnar Brink; Wolfgang Faisst; Martin Hoffmann; Norbert Huchler; Elsa Andrea Kirchner; Tobias Matzner; Matthias Peissner; Christoph Peylo; Thomas Schauf; Sirko Straube; Oliver Suchy; Susann Wolfgram; Ute Schmid; Frauke Rostalski; Maximilian Poretschkin; Pascal Birnstill
11/2020.
Zusammenfassung
Regulierung von KI-Systemen im Allgemeinen und Zertifizierung von KI-Systemen im
Besonderen können entscheidend dazu beitragen, KI-Systeme in die Anwendung zu bringen
und ihr volles Nutzenpotenzial auszuschöpfen. Die Zertifizierungsverfahren sollten dabei
bestimmte Standards von KI-Systemen garantieren, gleichzeitig aber Überregulierung
vermeiden
und Innovation ermöglichen.
Das AG-übergreifende Whitepaper entstand unter Federführung der Arbeitsgruppen
IT-Sicherheit, Privacy, Recht und Ethik sowie der Arbeitsgruppe Technologische Wegbereiter
und Data Science der Plattform Lernende Systeme und knüpft an ein bereits veröffentlichtes
Impulspapier zur Zertifizierung von KI-Systemen an (vgl. Heesen et al. 2020a). Die
Expertinnen und Experten der Plattform Lernende Systeme sowie weitere Gastautoren
adressieren im vorliegenden Papier offene Fragen, etwa dazu, wann KI-Systeme zertifiziert
werden sollten, an welchen Kriterien sich diese Zertifizierung orientieren soll und wie eine
effiziente Infrastruktur ausgestaltet sein sollte.
Zunächst wird im Whitepaper ein Überblick über den aktuellen Diskussionsstand gegeben
sowie unterschiedliche Möglichkeiten zur Sicherstellung der Qualität von Produkten und
Prozessen vorgestellt (Kapitel 1). Im Anschluss daran wird eine Übersicht über mögliche
nationale sowie internationale Anknüpfungspunkte für gelungene Zertifizierungsinitiativen
von KI-Systemen gegeben (Kapitel 2): Dazu gehören unter anderem politische Initiativen
wie das Weißbuch zu Künstlicher Intelligenz der Europäischen Kommission, Good
Practice-Beispiele aus der KI-Forschung und -Anwendung sowie weitere Initiativen zu
technischen Lösungen, Standardisierung und zur Prüfung und Auditierung von KI-Systemen.
Darauf aufbauend wird die Frage diskutiert, wie eine gelungene Zertifizierung von
KI-Systemen ausgestaltet sein sollte (Kapitel 3). Hierbei müssen Anwendungsfälle unterschieden
werden, in denen eine Zertifizierung von KI-Systemen notwendig ist und solche,
in denen es keine Standardisierung braucht (Kapitel 3.1). Die Notwendigkeit einer Zertifizierung
von KI-Systemen kann hier aus dem Ausmaß der Kritikalität in einem bestimmten
Anwendungskontext abgeleitet werden. Dieses ist abhängig von der Einschätzung der
Gefährdung von Menschenleben und anderen Rechtsgütern und dem Umfang der Handlungsoptionen
von Menschen in bestimmten Anwendungskontexten. Anhand des Ausmaßes
der Kritikalität kann auf den möglichen Regulierungsbedarf geschlossen werden.
In einem nächsten Schritt werden verschiedene Arten von Zertifizierung sowie unterschiedliche
Kriterien vorgestellt, die überprüft werden sollten – etwa zu Transparenz,
Nachvollziehbarkeit, Sicherheit, Gerechtigkeit, Schutz der Privatheit und Persönlichkeit
sowie zur Selbstbestimmtheit (Kapitel 3.2). Unterschiede – hinsichtlich Zielsetzung und
Betrachtungsgegenstand – bestehen hierbei zwischen Produkt- und Prozesszertifizierung,
weshalb manche Prüfkriterien besser im Rahmen einer Produktzertifizierung und andere
besser innerhalb einer Prozesszertifizierung abgefragt bzw. umgesetzt werden können.
Die anzulegenden Prüfkriterien lassen sich in Mindestkriterien, die immer erfüllt und abgeprüft
werden müssen, sowie darüber hinausgehende freiwillige Kriterien unterteilen, die
abgeprüft werden können und somit eine Art „Zertifizierung Plus“ ermöglichen.
KI-Systeme weisen eine besondere Dynamik auf, insbesondere weiterlernende Systeme
entwickeln sich im laufenden Betrieb weiter, dies muss bei der Wahl des Zeitpunkts und
des Detailgrads der Zertifizierung berücksichtigt werden (Kapitel 3.3). Die Zertifizierung
sollte durchgeführt werden, bevor das Produkt oder die Dienstleistung in Verkehr gebracht
wird, bei weiterlernenden Systemen sollte die Zertifizierung regelmäßig wiederholt werden.
Detailgrad und Prüftiefe bei der Zertifizierung sollten sich ebenfalls am Kritikalitätslevel
eines KI-Systems in seinem Anwendungsgebiet orientieren – je höher die Kritikalität
im Anwendungskontext eingeschätzt wird, desto umfangreicher sollten der Detailgrad
und die Prüftiefe der Zertifizierung ausfallen. Zudem wird eine Übersicht über die für die
Umsetzung der Zertifizierung von KI-Systemen notwendige organisatorische und technische
Infrastruktur gegeben (Kapitel 3.4). Damit die Konformitätsbewertung von KI-Systemen
gelingt, sind etwa technische Voraussetzungen mit Blick auf Prüfwerkzeuge, Software
und Testumgebungen zu erfüllen. Organisatorische Strukturen und Prozesse in
Unternehmen sollten künftig zudem zu einem wichtigen, komplementären Baustein einer
Zertifizierung von KI-Systemen werden. Die Kooperation zwischen Zertifizierungsstellen
und Forschungsinstituten ist vor allem wichtig, um einer dynamischen Verfasstheit der
Prüfstellen Rechnung zu tragen, die auf KI-Innovationen adäquat reagieren kann.
Basierend auf diesen Überlegungen skizzieren die Autorinnen und Autoren des Papiers
konkrete Gestaltungsoptionen zur Etablierung einer gelungenen Zertifizierung von KISystemen,
die verschiedene Akteursgruppen adressieren (Kapitel 4). Zuletzt wird ein Ausblick
für die nächsten Schritte hin zu einem Zertifizierungsprozess von KI-Systemen gegeben:
Zentral für die Beantwortung der Frage, in welchen Fällen eine Zertifizierung von
KI-Systemen notwendig sein sollte, ist hierfür der kombinierte Ansatz aus empirischer Forschung
zur Erarbeitung einer objektiven Basis auf der einen Seite und konzeptioneller und
normativer Überlegungen auf der anderen Seite (Kapitel 5). Das Papier leistet damit einen
Beitrag zur Diskussion, wie durch geeignete Zertifizierungsverfahren Nutzenpotenziale von
KI-Systemen realisiert und potenzielle negative Effekte vermieden werden können.