Verantwortungsvolle KI-Governance sollte nicht bei der gesetzlichen Einhaltung beginnen – geschweige denn enden
In letzter Zeit haben Kunden häufig dieselbe Frage gestellt: „Wenn unser System unter dem EU-Gesetz über künstliche Intelligenz oder dem Gesetz über künstliche Intelligenz in Colorado nicht als ‚hochriskant‘ eingestuft wird, warum sollten wir dann etwas dagegen unternehmen?“
Diese Annahme impliziert, dass das Risiko nur das ist, was die Gesetze vorgeben – und nur das. Diese Sichtweise ist jedoch eng, unsicher für Verbraucher und schlecht für Unternehmen.
Die Entwicklung verantwortungsvoller KI-Governance
Vor einigen Jahren begannen Unternehmen, zunehmend komplexe prädiktive KI-Modelle in ihre Geschäftsabläufe und Dienstleistungen zu integrieren. Dabei hatten sie Schwierigkeiten, diese Systeme zu verstehen – wie sie die damit verbundenen Risiken bewerten und diese so managen können, dass sie den Geschäftsnutzen maximieren und gleichzeitig Schaden für Kunden, öffentliche Peinlichkeiten oder rechtliche Haftung vermeiden.
In dieser Unsicherheit haben viele Anwälte, Datenwissenschaftler sowie Akademiker und andere Fachleute versucht, zu definieren, wie verantwortungsvolle KI-Governance aussehen könnte. Einige von ihnen arbeiteten an einem Projekt mit dem U.S. National Institute of Standards and Technology, was zur Entstehung des NIST AI Risk Management Framework führte.
Obwohl es sich nicht um einen Compliance-Standard handelt, hat dieses Framework, das später um generative KI erweitert wurde, sich als Standard für das KI-Management in den USA etabliert. Ein ähnliches risikobasiertes Framework wurde in Singapur entwickelt; die International Organization for Standardization hat einen KI-spezifischen Standard für verantwortungsvolle Governance entwickelt.
Risikobewertung und Governance
Alle diese Systeme bieten Unternehmen die Möglichkeit, die Risiken der Nutzung eines Systems zu bewerten. Während alle anerkennen, dass gesetzliche Anforderungen ein Faktor bei dieser Bewertung sein sollten, beginnen und enden sie nicht dort.
Die Definition von Risiko erfolgt als die Wahrscheinlichkeit, dass ein identifizierter Schaden eintritt, multipliziert mit der Schwere des Schadens, falls er eintreten sollte. Während rechtliche Auswirkungen Teil der Schwere-Messung sind, sind sie nicht das Ganze. Jedes Unternehmen muss das Risiko jedes KI-Systems unabhängig bewerten, basierend auf seiner eigenen Branche, seinen Werten, seinen geschäftlichen Verpflichtungen und den geltenden gesetzlichen oder regulatorischen Anforderungen.
Die Risikotoleranz ist spezifisch für jedes Unternehmen sowie die Techniken zur Risikobewertung und die bevorzugten Strategien zur Risikominderung. Selbst wenn ein KI-System nicht die spezifische gesetzliche Definition von „hochriskant“ erfüllt, sollten Unternehmen sicherstellen, dass das System innerhalb ihrer Risikotoleranz liegt – dass es wie erwartet funktioniert, fair genug für seinen Kontext ist und dass es keinen vermeidbaren Schaden oder Reputationsschaden verursacht.
Rechtliche Rahmenbedingungen
Die beiden wesentlichen Gesetze, das EU-Gesetz über künstliche Intelligenz und das Gesetz über künstliche Intelligenz in Colorado, folgen diesem risikobasierten Ansatz. Da es sich um Gesetze handelt, müssen sie einen definierten Umfang haben, wodurch klare Linien um bestimmte „hochriskante“ Anwendungsfälle gezogen werden. Diese Linien sind nützlich, aber nicht erschöpfend.
Die Gesetze konzentrieren sich auf Kategorien, die von den Regulierungsbehörden priorisiert und durchgesetzt werden. Sie versuchen jedoch nicht zu definieren, dass diese Kategorien das volle Spektrum der Risiken darstellen, denen Unternehmen bei der Verwendung anderer KI-Systeme ausgesetzt sein können.
Praktische Governance-Muster
Es ist sicherlich wahr, dass nicht jedes System „alle“ Tests, Aufsichten und Dokumentationen benötigt. Um einen einfachen Governance-Prozess zu entwickeln, der über die gesetzlichen Hochrisikokategorien hinausgeht, kann man in eines der genannten Frameworks eintauchen oder mit den Grundlagen beginnen.
Bewerten Sie zunächst das Risiko des Systems. Definieren Sie den vollständigen Anwendungsfall für den Kontext und bestimmen Sie, was auf dem Spiel steht, indem Sie identifizieren, wer betroffen ist, welche Entscheidungen beeinflusst werden und wie das schlimmste Ergebnis aussehen könnte.
Durch eine erste Risikotriage können Unternehmen die Ressourcen angemessen zuweisen:
- Niedrigrisikosysteme erfordern grundlegende funktionale Tests und Dokumentationen, die ihre beabsichtigte Nutzung und Einschränkungen umreißen.
- Mittelrisikosysteme sollten Leistungstests und -überwachungen durchlaufen, gezielte Fairnessprüfungen beinhalten und einen Rollback-Plan aufweisen.
- Hochrisikosysteme erfordern umfassende Validierungen vor der Bereitstellung, Red-Teaming-Übungen, menschliche Kontrollen, regelmäßige Tests nach der Bereitstellung, kontinuierliche Überwachung, einen etablierten Vorfallreaktionsplan und unabhängige Überprüfungsmechanismen.
Fazit
Die Gesetze zur Governance von künstlicher Intelligenz schaffen bestimmte Kategorien, in denen Bewertung, Testung und Dokumentation obligatorisch sind. Diese Schwellenwerte sind wichtig, können jedoch nicht die gesamte Risikopostur eines Unternehmens definieren, das KI auf eine Weise entwickelt, kauft oder betreibt, die für seine Abläufe wesentlich ist.
Die beste Praxis für jedes bedeutende System bleibt, wie bei KI-Modellen auch, zu zeigen, dass es für den beabsichtigten Einsatz funktioniert, es in der realen Welt zu überwachen und Probleme zu beheben, bevor sie zu Schäden werden.
