KI-Ethische Audits: Die Prozesse, Motivationen und Herausforderungen entschlüsseln

german

Was sind die bestimmenden Merkmale des entstehenden Ökosystems für KI-Ethik-Audits?

Das Ökosystem für KI-Ethik-Audits wächst rasant, angetrieben von bevorstehenden Vorschriften und dem Wunsch nach interner und externer Aufsicht. Diese neue Landschaft umfasst interne und externe Auditoren (von Startups bis hin zu „Big Four“-Wirtschaftsprüfungsgesellschaften), Audit-Frameworks, Risiko- und Folgenabschätzungen, Normungsorganisationen (IEEE, ISO), SaaS-Anbieter und gemeinnützige Organisationen, die Auditkriterien und Zertifizierungen entwickeln.

Kern-Erkenntnisse aus der Praxis

Unsere Forschung, die Interviews mit 34 KI-Ethik-Auditoren in sieben Ländern umfasst, zeigt mehrere bestimmende Merkmale:

• Audit-Prozess: KI-Ethik-Audits folgen weitgehend dem Modell der Finanzprüfung – Planung, Durchführung und Berichterstattung.
• Technischer Fokus: Audits konzentrieren sich stark auf technische KI-Ethik-Prinzipien wie Bias, Datenschutz und Erklärbarkeit, was eine regulatorische Betonung des technischen Risikomanagements widerspiegelt. Dies kann zur Vernachlässigung anderer wichtiger ethischer Dimensionen führen.
• Stakeholder-Einbindung: Es mangelt an einer robusten Einbeziehung der Interessengruppen, insbesondere der Öffentlichkeit und schutzbedürftiger Gruppen. Die Einbindung konzentriert sich typischerweise auf technische Teams, Risikomanagement und Rechtspersonal und nicht auf vielfältige öffentliche Beiträge.
• Herausforderungen bei der Messung: Die Definition und Messung des Erfolgs von KI-Ethik-Audits bleibt eine Herausforderung. Vielen Auditoren fehlen konkrete quantitative oder qualitative Kriterien, die über die Erstellung des Auditberichts selbst hinausgehen. Verbesserungen des organisatorischen Bewusstseins oder der Kapazität werden als sinnvolle Indikatoren angesehen.
• Begrenzte externe Berichterstattung: Abschlussberichte sind fast ausschließlich intern und richten sich an technische Mitarbeiter oder Führungskräfte. Externe Berichterstattung zur öffentlichen Transparenz oder zur Einhaltung von Vorschriften ist selten.

Regulatorische Bedenken und Treiber

Regulatorische Anforderungen sind der wichtigste Treiber für die Einführung von KI-Ethik-Audits, insbesondere das EU-KI-Gesetz. Reputationsrisiken und der Wunsch nach einer ethischen Unternehmenskultur sind ebenfalls Motivatoren, wenn auch oft zweitrangig. Vorschriften wie der UK Algorithmic Transparency Standard, das US NIST AI Risk Management Framework und das New Yorker Local Law 144 spielen ebenfalls eine Rolle.

Praktische Auswirkungen und Herausforderungen

Auditoren stehen vor mehreren Hürden, darunter:

• Interdisziplinäre Koordination: Die Steuerung verschiedener Teams mit konkurrierenden Prioritäten ist eine zentrale Herausforderung.
• Ressourcenbeschränkungen: Unternehmen mangelt es oft an ausreichenden Ressourcen und Personal, die sich der KI-Ethik und -Governance widmen.
• Dateninfrastruktur: Eine unzureichende technische und Dateninfrastruktur behindert effektive Audits und erschwert das Auffinden, den Zugriff und die Analyse relevanter Daten und Modelle.
• Regulatorische Unklarheit: Erhebliche Unklarheiten bei der Auslegung von Vorschriften und Standards, gepaart mit einem Mangel an Best Practices und praktikablen regulatorischen Leitlinien, erschweren den Auditprozess.

Trotz dieser Herausforderungen spielen KI-Ethik-Auditoren eine wichtige Rolle beim Aufbau des Ökosystems, indem sie Audit-Frameworks entwickeln, Vorschriften interpretieren, Best Practices kuratieren und Erkenntnisse mit Stakeholdern teilen. Sie fungieren als Übersetzer zwischen Technologie, Ethik und Politik und treiben das Feld auch inmitten von Unsicherheit voran.

german

Welche Motivationen und Prozesse treiben die Nutzung von KI-Ethik-Audits in Organisationen an?

Das Ökosystem der KI-Ethik-Audits entwickelt sich rasant, angetrieben von der Erwartung regulatorischer Mandate und dem wachsenden Bedarf an verantwortungsvollen KI-Praktiken. Aber was motiviert Organisationen tatsächlich, in diese Audits zu investieren, und wie sehen diese Prozesse vor Ort aus?

Regulatorische Treiber

Der wichtigste Motivator für die Einführung von KI-Ethik-Audits scheint die Einhaltung von Vorschriften zu sein. Interviewpartner betonten, dass das KI-Gesetz der EU ein Haupttreiber ist, der wahrscheinlich einen globalen Präzedenzfall schafft. Weitere regulatorische Rahmenbedingungen, die die Audittätigkeiten beeinflussen, sind:

• Der britische Algorithmus-Transparenzstandard
• Der AI Risk Management Framework des US National Institute of Standards and Technology (NIST)
• New York Local Law 144 über automatisierte Einstellungsentscheidungen
• US‘ SR117 zum Modellrisikomanagement (für den Finanzsektor)

Die wahrgenommene Dringlichkeit dieser Vorschriften variiert jedoch von Organisation zu Organisation. Einige Unternehmen verfolgen einen proaktiven Ansatz, während andere eine reaktive Haltung einnehmen und auf eine strengere Durchsetzung warten.

Reputationsrisiko und ethische Erwägungen

Über die Compliance hinaus ist das Reputationsrisiko ein weiterer wichtiger Treiber. Unternehmen sind sich zunehmend potenzieller öffentlicher Gegenreaktionen bewusst und versuchen, das Vertrauen von Kunden und Mitarbeitern aufzubauen, indem sie ethische KI-Praktiken demonstrieren. Diese Motivation deckt sich manchmal mit dem Wunsch nach einer stärkeren ethischen Kultur, die sogar über die regulatorischen Anforderungen hinausgeht. Einige Organisationen erkennen, dass ein ordnungsgemäßes KI-Ethik-Audit für die KI-Leistung selbst unerlässlich ist.

Der Auditprozess: Ein dreiphasiger Ansatz

KI-Ethik-Audits spiegeln im Allgemeinen die Phasen von Finanzprüfungen wider: Planung, Durchführung und Berichterstattung. Es bestehen jedoch kritische Lücken, insbesondere bei der Einbindung von Interessengruppen, der konsistenten und klaren Messung des Erfolgs und der externen Berichterstattung.

Planung: Der Umfang des Audits wird in Zusammenarbeit zwischen Auditoren und Mandanten festgelegt. Es gibt zwei Hauptansätze:

• Governance-Audits: Konzentrieren sich auf ein breites Spektrum von KI-Systemen, Entwicklungsprozessen und Organisationsstrukturen.
• Algorithmische Audits: Konzentrieren sich auf die Daten, die Leistung und die Ergebnisse bestimmter KI-Systeme oder Algorithmen.

Die Einbindung von Interessengruppen während der Planung konzentriert sich in der Regel auf technische Teams (Data Scientists, ML Engineers) und Risiko-/Compliance-Experten. Eine breitere Einbindung der Öffentlichkeit oder schutzbedürftiger Gruppen ist selten.

Durchführung: Risikomanagement und Modellvalidierung sind die Kernaktivitäten. Die Risikoidentifizierung wird betont, oft durch Scorecards und Fragebögen. Die Modellvalidierung umfasst die Analyse ungleicher Auswirkungen und die Überprüfung der algorithmischen Fairness. Der Umfang der Modellvalidierung hängt jedoch von der Datenverfügbarkeit und der Governance-Infrastruktur ab. Compliance und Ziele werden oft auf der Grundlage von Vorschriften festgelegt.

Berichterstattung: Die meisten Audits erstellen technische Berichte, die in erster Linie für interne Zielgruppen bestimmt sind. Externe Berichterstattung zu Transparenz- oder Regulierungszwecken ist unüblich. Klare Metriken zur Messung des Auditerfolgs fehlen oft, und viele Auditoren hatten keine spezifischen Erfolgsmetriken.

Herausforderungen und Unklarheiten

KI-Ethik-Auditoren stehen vor großen Herausforderungen. Die häufigsten sind:

• Unsicherheit und Unklarheit aufgrund vorläufiger oder stückweiser Regulierung.
• Fehlen standardisierter Tests und Metriken zur Beurteilung von Problemen wie algorithmischer Verzerrung.
• Organisatorische Komplexität und interdisziplinäre Koordination.
• Eingeschränkte Datenverfügbarkeit, -qualität und die Knappheit von Basisdaten und KI-Infrastruktur.
• Unterentwickelte Fähigkeit der Mandanten, effektiv mit Auditoren zusammenzuarbeiten.

Das Fehlen ausgereifter Vorschriften hat bei Unternehmen zu einer gewissen Zurückhaltung geführt, Ressourcen für KI-Ethik und Governance-Arbeit bereitzustellen.

Die sich entwickelnde Rolle von KI-Ethik-Auditoren

Trotz der Herausforderungen spielen KI-Ethik-Auditoren eine entscheidende Rolle bei der Auslegung von Vorschriften, der Erstellung von Auditierungsrahmen, der Zusammenstellung von Praktiken und dem Austausch ihrer Erkenntnisse mit Interessengruppen. Viele Auditoren erstellen ihre eigenen Rahmenwerke, Softwarepakete und Berichtsvorlagen, um KI-Ethik und Governance zu operationalisieren.

Ein wichtiger Aspekt ist, dass sich das KI-Ethik-Audit in Anlehnung an Finanz- und Wirtschaftsethik-Audits entwickelt, obwohl es auch neuartige Merkmale und Herausforderungen aufweist. Diese Beziehung ist hilfreich, um Richtungen für die theoretische und praktische Entwicklung vorzuschlagen und vor potenziellen Fallstricken zu warnen.

Wie beurteilen Praktiker die Effektivität und die Herausforderungen von Initiativen zur Prüfung der KI-Ethik?

Die Prüfung der KI-Ethik ist ein sich schnell entwickelndes Feld, das entscheidend ist, um einen verantwortungsvollen Einsatz von KI zu gewährleisten. Praktiker entwickeln Rahmenwerke und navigieren durch regulatorische Unsicherheiten. Dieser Bericht befasst sich damit, wie sie die Effektivität bewerten und welchen Herausforderungen sie sich stellen.

Bewertung der Effektivität: Quantitative Indikatoren und mehr

Erfolgsmessgrößen für KI-Ethik-Audits variieren stark und umfassen sowohl quantitative als auch qualitative Aspekte:

• Quantitative Indikatoren: Einige Prüfer verfolgen Verbesserungen bei wichtigen Leistungsindikatoren (KPIs), wie z. B. die Verringerung unterschiedlicher Auswirkungen und die Verbesserung der Modellgenauigkeit. Auch Gewinnkennzahlen können berücksichtigt werden, um sie an den Geschäftszielen auszurichten.
• Qualitative Einschätzungen: Viele räumen ein, dass wirklich robuste Messungen von „Erfolg“ noch selten sind. Andere Benchmarks werden verwendet, um die Wirksamkeit zu bestimmen, wie z. B. die Fertigstellung eines Prüfberichts, die Erfüllung erster Leistungen und die Verbesserung des allgemeinen Organisationsbewusstseins und der Fähigkeiten der Interessengruppen.

Es mangelt jedoch an einem Konsens über standardisierte Metriken, was die Unreife des Feldes unterstreicht.

Einbindung von Interessengruppen: Überbrückung der Kluft

Während Prüfer mit technischen Teams (Data Scientists, ML-Ingenieure), Führungskräften und Risiko-/Compliance-Experten zusammenarbeiten, bleibt die Einbindung breiterer Interessengruppen – der Öffentlichkeit, gefährdeter Gruppen und Aktionäre – begrenzt. Dies widerspricht Forderungen nach einer vielfältigen, öffentlichen Beteiligung.

Mögliche Gründe für diese Lücke sind Ressourcenbeschränkungen, das Fehlen klarer Best Practices und Bedenken hinsichtlich Reputationsrisiken oder Geschäftsgeheimnissen.

Herausforderungen im Ökosystem der KI-Ethik-Prüfung

KI-Ethik-Prüfer stoßen auf zahlreiche Hürden:

• Regulatorische Unklarheit: Die unreife Regulierungslandschaft schafft Unsicherheit. Die Prüfer haben Schwierigkeiten, Vorschriften zu interpretieren, was ihre Fähigkeit beeinträchtigt, klare Anleitungen zu geben.
• Ressourcenbeschränkungen: Begrenzte Budgets und das Fehlen definierter Vorschriften behindern Investitionen in KI-Ethik und Governance.
• Lücken in der Daten- und Modell-Governance: Vielen Unternehmen mangelt es an einer robusten Daten- und Modell-Governance, was es schwierig macht, auf Daten zuzugreifen, zu verstehen, wie sie erfasst wurden, und Modellentscheidungen nachzuvollziehen.
• Organisatorische Komplexität: Die Koordination zwischen verschiedenen Teams mit konkurrierenden Prioritäten stellt eine erhebliche Herausforderung dar. Siloartige Teams behindern die Kommunikation und die Akzeptanz.
• Bedenken hinsichtlich der Unabhängigkeit: Die Unklarheit zwischen Prüfungs- und Beratungstätigkeiten wirft Bedenken hinsichtlich der beruflichen Unabhängigkeit auf. Auch den Regulierungsbehörden fehlt es an einer Harmonisierung von Standards und Best Practices, und es gibt keine Maßnahmen zur Bestimmung der Qualität der KI-Ethik-Prüfung.

Diese Herausforderungen unterstreichen die Notwendigkeit umfassenderer organisatorischer Veränderungen und mehr regulatorischer Klarheit.

Entwicklung hin zu finanziellen Prüfungsmodellen

Die KI-Ethik-Prüfung entwickelt sich in Richtung von Rahmenwerken, die der Finanzprüfung ähneln, obwohl weiterhin Lücken bestehen. Derzeit folgen KI-Ethik-Audits tendenziell den Phasen Planung, Durchführung und Berichterstattung der Finanzprüfung, aber die Einbeziehung von Interessengruppen, die Erfolgsmessung und die externe Berichterstattung werden oft als mangelhaft empfunden.

Die Rolle des Prüfers: Dolmetscher und Übersetzer

Trotz der Herausforderungen spielen die KI-Ethik-Prüfer eine entscheidende Rolle. Sie operationalisieren vage Vorschriften, erstellen Rahmenbedingungen, entwickeln Best Practices und kommunizieren diese Ideen mit Kunden und Aufsichtsbehörden. Sie fungieren als Dolmetscher und Übersetzer innerhalb des sich entwickelnden KI-Governance-Ökosystems.

Implikationen für die Zukunft

Die Bewältigung der Herausforderungen der KI-Ethik-Prüfung erfordert eine gemeinsame Anstrengung: bessere Mittelzuweisung, klarere Vorschriften, verbesserte Datenverwaltung und verstärkte Einbindung der Interessengruppen. Die politischen Entscheidungsträger gelten als Schlüsselakteure mit der Fähigkeit, dieses Ökosystem zu gestalten. Insbesondere erfordert dies die Entwicklung eines Konsenses über „hinreichend handhabbare und detaillierte Empfehlungen und die Bereitstellung von Leitlinien, die Unklarheiten minimieren [die] unerlässlich sind“.

german

KI-Ethik-Audits: Eine Landschaft im Wandel

Die Landschaft der KI-Ethik-Audits entwickelt sich rasant, angetrieben durch bevorstehende Vorschriften und ein wachsendes Bewusstsein für potenzielle Risiken. Dieser Abschnitt analysiert die Kernaspekte dieses aufkommenden Feldes und stützt sich dabei auf aktuelle Forschungsergebnisse zu KI-Ethik-Auditpraktiken.

Haupttreiber: Regulierung und Reputation

Unternehmen werden bei der Durchführung von KI-Ethik-Audits hauptsächlich von zwei Faktoren motiviert:

• Einhaltung von Vorschriften: Der bevorstehende EU AI Act ist ein bedeutender Katalysator, der Organisationen dazu drängt, Risiken im Zusammenhang mit ihren KI-Systemen proaktiv zu bewerten und zu mindern. Ähnliche Vorschriften und Standards spielen ebenfalls eine Rolle und deuten auf einen Trend zur internationalen Harmonisierung hin.
• Reputationsbedenken: Öffentliche Kritik, Kundenvertrauen und Mitarbeiterzufriedenheit sind starke Anreize für ethische KI-Praktiken. Einige Unternehmen erkennen auch, dass ethische KI einfach bessere KI ist, die zu einer verbesserten Leistung führt.

Audit-Umfang: Governance vs. Algorithmisch

Organisationen verfolgen zwei Hauptansätze bei der Definition des Umfangs von KI-Ethik-Audits:

• Governance-Audits: Konzentrieren sich auf eine breite Bewertung von KI-Systemen, ihren Entwicklungsprozessen und Organisationsstrukturen.
• Algorithmische Audits: Konzentrieren sich auf die Daten, die Leistung und die Ergebnisse spezifischer KI-Algorithmen, ohne unbedingt breitere Organisationsprozesse zu untersuchen.
• SaaS-Anbieter bieten spezielle technische Tools zur Bewertung von KI-Ethikprinzipien an, insbesondere in Bezug auf Verzerrung, Datenschutz und Erklärbarkeit.

Der Umfang ist oft stark kontextabhängig und wird zwischen Auditoren und Kunden ausgehandelt. Audits können auch Wochen bis Monate dauern, abhängig von der Verfügbarkeit von Daten und Beweisen.

Der Audit-Prozess: Planung, Durchführung und Berichterstattung

KI-Ethik-Audits spiegeln weitgehend den traditionellen Finanzaudit-Rahmen wider und umfassen drei Phasen:

• Planung: Definition des Umfangs, Risikobewertung.
• Durchführung: Artefaktsammlung, Tests, Modellvalidierung.
• Berichterstattung: Reflexion, Post-Audit-Phase, Dokumentation.

Die Einbeziehung von Stakeholdern sowohl während der Planungs- als auch der Testphase konzentriert sich im Allgemeinen auf Data Scientists, technische Experten und verwandte Fachexperten.

Die Kernaktivitäten während der Durchführung konzentrieren sich typischerweise auf Risikomanagement und Modellvalidierung.

Herausforderungen und Einschränkungen

Mehrere Herausforderungen behindern die Effektivität von KI-Ethik-Audits:

• Regulatorische Unklarheit: Das Fehlen klarer, interpretierbarer Vorschriften und geprüfter Best Practices schafft Unsicherheit und behindert konsistente Bewertungen.
• Organisatorische Komplexität: Schwierigkeiten bei der Navigation durch interdisziplinäre Funktionen, der Koordinierung von Teams und der Sicherstellung der Zustimmung verschiedener Stakeholder.
• Dateninfrastruktur: Unzureichende Datenverfügbarkeit, -qualität und -Governance schaffen Hindernisse für eine gründliche Modellvalidierung.
• Erfolgsmessung: Oftmals gibt es keine robusten Messgrößen dafür, was „Erfolg“ im Kontext von KI-Audits bedeutet.
• Mangelnde externe Berichterstattung: Das Fehlen externer Berichterstattung und einer breiteren Einbeziehung von Stakeholdern bedeutet, dass Audits die Ziele der öffentlichen Transparenz nicht ohne Weiteres erfüllen und in erster Linie als Beratungsartefakte fungieren.

Trotz dieser Herausforderungen spielen KI-Auditoren eine Schlüsselrolle bei der Übersetzung abstrakter Prinzipien in umsetzbare Rahmenwerke, Softwarepakete und Berichtsvorlagen; bei der Förderung von Veränderungen in den organisatorischen Praktiken; bei der Operationalisierung unklarer Vorschriften; und bei der Verbesserung von KI-Standards.