Algorithmische Audits: Ein praktischer Leitfaden für Fairness, Transparenz und Verantwortung in KI

Was ist der angemessene Umfang für algorithmische Audits?

Ein End-to-End, sozio-technisches algorithmisches Audit (E2EST/AA) bietet den umfassendsten Ansatz. Es untersucht ein KI-System in seinem tatsächlichen operativen Kontext und betrachtet die spezifischen verwendeten Daten und die betroffenen Datensubjekte.

Dieser Ansatz ist entscheidend, da KI-Systeme in komplexen sozialen und organisatorischen Rahmenbedingungen operieren und Daten verwenden, die von Einzelpersonen und Gesellschaften generiert werden. Die Vernachlässigung dieser sozio-technischen Aspekte durch die ausschließliche Konzentration auf technische Probleme würde zu unvollständigen und potenziell schädlichen Bewertungen führen.

Welche Systeme sollten auditiert werden?

Der E2EST/AA-Prozess ist für algorithmische Systeme konzipiert, die in folgenden Bereichen eingesetzt werden:

• Ranking
• Bilderkennung
• Natürliche Sprachverarbeitung

Er ist auf Systeme anwendbar, die Entscheidungen über Einzelpersonen oder Gruppen unter Verwendung bekannter Datenquellen treffen, unabhängig davon, ob sie auf maschinellem Lernen oder traditionelleren Computerverfahren basieren. Dies umfasst die Mehrheit der Systeme, die sowohl im öffentlichen als auch im privaten Sektor eingesetzt werden für:

• Ressourcenzuweisung
• Kategorisierung
• Identifizierung/Verifizierung

…in Bereichen wie Gesundheit, Bildung, Sicherheit und Finanzen. Zu den spezifischen Anwendungen gehören Betrugserkennung, Einstellungsprozesse, Betriebsmanagement und Vorhersage-/Risikobewertungswerkzeuge.

Über die Bias-Bewertung hinaus

Während die Bias-Bewertung im Mittelpunkt steht, erweitert E2EST/AA seine Reichweite. Es untersucht:

• Breitere soziale Auswirkungen
• Erwünschtheit
• Einbeziehung von Endbenutzern in die Entwurfsphase
• Verfügbarkeit von Rechtsbehelfsmechanismen für Betroffene

Um ein algorithmisches Audit zu „bestehen“, muss ein System Fragen der Verhältnismäßigkeit der Auswirkungen, der Beteiligung der Stakeholder und der Ressourcenzuweisung berücksichtigen.

Einschränkungen

Eine Kernbeschränkung des algorithmischen Audits besteht darin, dass es bestehende Systemimplementierungen bewertet. Es geht nicht auf die grundlegende Frage ein, ob ein System überhaupt existieren sollte.

Wie sollte der Prozess eines End-to-End, soziotechnischen algorithmischen Audits durchgeführt werden?

Ein End-to-End, soziotechnisches algorithmisches Audit (E2EST/AA) ist ein iterativer Prozess, der eine enge Zusammenarbeit zwischen Auditoren und dem KI-Entwicklungsteam beinhaltet. Es ist darauf ausgelegt, KI-Systeme innerhalb ihrer realen Implementierung, Verarbeitungstätigkeiten und ihres betrieblichen Kontexts zu untersuchen, wobei der Schwerpunkt auf den spezifischen verwendeten Daten und den betroffenen Datensubjekten liegt.

Hauptschritte im E2EST/AA-Prozess

Hier ist eine Aufschlüsselung der Kernkomponenten, die bei der Durchführung eines umfassenden Audits beteiligt sind:

• Modellkarten-Erstellung: Auditoren beginnen mit dem Sammeln und Überprüfen detaillierter Informationen durch eine „Modellkarte“. Dieses Dokument fasst wichtige Details bezüglich des Trainings, der Tests, der Merkmale des KI-Modells und der Beweggründe für den gewählten Datensatz zusammen. Es dient auch als zentrales Repository für wesentliche Dokumentationen, einschließlich DPIAs (Datenschutz-Folgenabschätzungen), Ethikgenehmigungen und Datenfreigabevereinbarungen.
• Systemkartenerstellung: Als nächstes kontextualisiert eine Systemkarte den Algorithmus und veranschaulicht die Beziehungen und Interaktionen zwischen dem algorithmischen Modell, dem technischen System und dem übergreifenden Entscheidungsprozess. Der Auditor entwirft eine erste Version davon, und das Entwicklungsteam validiert und vervollständigt sie. Im Rahmen einer Untersuchung, die von einer Aufsichtsbehörde durchgeführt wird, sollte die Existenz folgender Punkte festgehalten werden:
  • Inventar der geprüften KI-basierten Komponente [Artikel 5.2]
  • Identifizierung von Verantwortlichkeiten [Kapitel IV]
  • Transparenz [Artikel 5.1.a und Kapitel III – Abschnitt 1, Artikel 13.2.f und 14.2.g von Kapitel III – Abschnitt 2]
  • Identifizierung der beabsichtigten Zwecke und Verwendungen [Artikel 5.1.b]
  • Definition des beabsichtigten Kontexts der KI-basierten Komponente [Artikel 24.1]
  • Analyse der Verhältnismäßigkeit und Notwendigkeit [Artikel 35.7.b]
  • Definition der potenziellen Datenempfänger [Kapitel III; insbesondere Artikel 13.1.e und 14.1.e]
  • Begrenzung der Datenspeicherung [Artikel 5.1.e, Ausnahmen Artikel 89.1]
  • Analyse der Kategorien von Datensubjekten [Artikel 35.9]
  • Identifizierung der Entwicklungspolitik der KI-basierten Komponente [Artikel 24.1]
  • Einbeziehung des Datenschutzbeauftragten (DSB) [Abschnitt 4 von Kapitel IV]
  • Anpassung grundlegender theoretischer Modelle [Artikel 5.1.a]
  • Angemessenheit des methodischen Rahmens [Artikel 5.1.a]
  • Identifizierung der grundlegenden Architektur der KI-basierten Komponente [Artikel 5.2]
• Bias-Identifizierung: Ein kritischer Schritt ist die Identifizierung potenzieller Momente und Quellen von Bias während des gesamten Lebenszyklus des KI-Systems – von der Vorverarbeitung über die In-Processing (Inferenz) bis zur Nachverarbeitung (Bereitstellung). Auditoren müssen Folgendes dokumentieren:
  • Datenqualitätssicherung [Artikel 5.1]
  • Definition des Ursprungs der Datenquellen [Artikel 5 und 9]
  • Vorverarbeitung personenbezogener Daten [Artikel 5]
  • Bias-Kontrolle [Artikel 5.1.d]
• Bias-Tests: Basierend auf gesammelter Dokumentation und Zugriff auf das Entwicklungsteam und relevante Daten entwirft und implementiert der Auditor verschiedene Tests, um Verzerrungen zu erkennen, die sich negativ auf Einzelpersonen, Gruppen oder die gesamte Systemfunktionalität auswirken könnten. Diese Tests beinhalten oft statistische Analysen, die Auswahl geeigneter Fairness-Metriken und potenziell die Kontaktaufnahme mit Endbenutzern oder betroffenen Gemeinschaften.
  • Anpassung des Verifikations- und Validierungsprozesses der KI-basierten Komponente [Artikel 5.1.b und 5.2]
  • Verifikation und Validierung der KI-basierten Komponente [Artikel 5.1.a und 5.1.b]
  • Leistung [Artikel 5.1.d]
  • Konsistenz [Artikel 5.1.d]
  • Stabilität und Robustheit [Artikel 5.2]
  • Rückverfolgbarkeit [Artikel 5 und 22]
  • Sicherheit [Artikel 5.1.f, 25 und 32]
• Adversarisches Audit (Optional): Für risikoreiche Systeme und insbesondere solche, die unüberwachtes maschinelles Lernen verwenden, ist ein adversarisches Audit sehr empfehlenswert. Dies beinhaltet die Simulation realer Bedingungen und potenzieller Angriffe, um Schwachstellen und versteckte Verzerrungen aufzudecken, die bei Standardtests möglicherweise nicht erkennbar sind.

Der Auditbericht: Sicherstellung von Transparenz und Rechenschaftspflicht

Der Höhepunkt des Auditprozesses ist die Erstellung umfassender Berichte. Es sollten drei Haupttypen von Auditberichten erstellt werden:

• Interner E2EST/AA-Bericht: Auditoren verfassen diesen Bericht, um den befolgten Prozess, die identifizierten Probleme und die angewandten oder anwendbaren Maßnahmen zur Risikominderung zu erfassen.
• Öffentlicher E2EST/AA-Bericht: Endgültige Version des Auditprozesses, in der Auditoren das System, die Auditmethodik, die implementierten Maßnahmen zur Risikominderung und Verbesserung sowie weitere Empfehlungen beschreiben, falls vorhanden.
• Regelmäßige E2EST/AA-Berichte: Diese Follow-up-Auditberichte müssen Garantien dafür bieten, dass die Systementwickler weiterhin auf Verzerrungen testen, Maßnahmen zur Risikominderung implementieren und Auswirkungen kontrollieren.

german

Welche Erkenntnisse lassen sich aus der Untersuchung der Momente und Quellen von Verzerrungen in einem KI-System gewinnen?

Die Analyse von Verzerrungen in KI-Systemen geht über die einfache Identifizierung geschützter Gruppen und die Berechnung ungleicher Behandlung hinaus. Ein umfassender Ansatz, wie das End-to-End Socio-Technical Algorithmic Audit (E2EST/AA), erfordert die Untersuchung von Momenten und Quellen von Verzerrungen während des gesamten KI-Lebenszyklus, um unfaire Ergebnisse und Verstöße gegen Vorschriften zu verhindern.

Verständnis der Momente der Verzerrung

Das E2EST/AA identifiziert Schlüsselmomente im KI-Lebenszyklus, in denen sich Verzerrungen einschleichen können:

• Vorverarbeitung: Von der anfänglichen Datenerfassung („Welt → Daten“) bis zu ihrer Umwandlung in nutzbare Variablen („Stichprobe → Variablen + Werte“) können Verzerrungen daher rühren, wie Daten gesammelt werden, wer repräsentiert wird und wie Informationen strukturiert sind.
• In-Processing (Modellinferenz): Hier können bereits vorhandene Verzerrungen verstärkt werden, wenn die KI Muster aus den Daten lernt („Variablen + Werte → Muster“) und Vorhersagen trifft („Muster → Vorhersagen“).
• Nachverarbeitung (Modellbereitstellung): Verzerrungen wirken sich aus, wenn Vorhersagen zu Entscheidungen werden („Vorhersagen → Entscheidungen“) und diese Entscheidungen die reale Welt beeinflussen („Entscheidungen → Welt“).

Identifizierung von Quellen für Verzerrungen

Die genaue Bestimmung der Ursachen für Verzerrungen ist entscheidend für eine wirksame Eindämmung. Das E2EST/AA hebt mehrere Quellen hervor:

• Technologische Verzerrung: Dazu gehören „Techno-Solutionist Bias“ (übermäßiges Vertrauen in Technologie), „Übersimplifizierung“, „Partielle oder voreingenommene Featurization“ und „Omitted Variable“-Verzerrung.
• Datenbezogene Verzerrung: „Selection Bias“, „Historical Bias“, „Label Bias“, „Generalization Bias“, „Statistical Bias“, „Measurement Bias“, „Privacy Bias“ und „Aggregation Bias“ fallen unter diese Kategorie.
• Kognitive Verzerrung: „Over and Underfitting“, „Hot Hand Fallacy“ und „Automation Bias“ stellen kognitive Fehler in der Modellentwicklung dar.
• Bereitstellungs-Verzerrung: Überlegungen zu „Benchmark Test Bias“ und „Data Visualization“.

Praktische Auswirkungen und regulatorische Bedenken

Das Versäumnis, diese Verzerrungen zu erkennen und zu beheben, kann zu Folgendem führen:

• Verletzung individueller Rechte
• Verstärkung von Stereotypen
• Ineffiziente oder schädliche Entscheidungen
• Diskriminierung von Einzelpersonen und Gruppen
• Reproduktion gesellschaftlicher Ungleichheiten

Der Prüfer sollte das Vorhandensein dokumentierter Verfahren zur Verwaltung und Gewährleistung einer ordnungsgemäßen Daten-Governance aufzeichnen, die es ermöglicht, die Genauigkeit, Integrität, Richtigkeit, Wahrhaftigkeit, Aktualisierung und Angemessenheit der für Training, Tests und Betrieb verwendeten Datensätze zu überprüfen und zu gewährleisten.
german

Unter welchen Umständen ist ein Adversarial Audit eine sinnvolle Ergänzung des Prozesses?

Das Dokument legt nahe, dass Adversarial Audits, obwohl optional, in bestimmten Szenarien einen erheblichen Mehrwert bieten. Diese Audits dienen als kritisches Sicherheitsnetz und decken Probleme auf, die selbst die sorgfältigsten Standard-Auditmethoden möglicherweise übersehen.

Hochrisikosysteme

Für Hochrisiko-KI-Systeme und insbesondere solche, die unbeaufsichtigtes maschinelles Lernen (ML) einsetzen, werden Adversarial Audits „dringend empfohlen“. Die Komplexität und Undurchsichtigkeit dieser Systeme kann es erschweren, Modellattribute mit herkömmlichen Mitteln zurückzuverfolgen. Reverse Engineering, das durch Adversarial-Techniken ermöglicht wird, wird zu einem wertvollen Ansatz.

Überprüfung von Auditinformationen

Adversarial Audits sind auch dann von Vorteil, wenn es darum geht, die Vollständigkeit und Richtigkeit der Informationen zu überprüfen, die während des ersten Audits bereitgestellt wurden. Sie bieten eine zusätzliche Kontrollschicht, die sicherstellt, dass potenzielle Verzerrungen und Risiken nicht übersehen werden.

Erkennung von Real-World-Bias

Diese Audits sind besonders effektiv bei der Erkennung von:

• Ausgelassenen Variablen, die erst dann zum Vorschein kommen, wenn das KI-System in realen Produktionsumgebungen arbeitet.
• Proxies, die zu ungleicher Behandlung und anderen schädlichen Auswirkungen führen.
• Lern-Bias – ein Phänomen, bei dem unbeaufsichtigte ML-Systeme Variablen und Labels aus Trainingsdaten einbeziehen, die ursprünglich nicht erwartet wurden, was zu unvorhergesehenen negativen Ergebnissen führt. Diese sind nur durch groß angelegte Auswirkungsdatenanalysen erkennbar.

Zugangsbeschränkungen

Wenn betroffene Gemeinschaften oder Regulierungsbehörden keinen direkten Zugang zu einem algorithmischen System haben, können Adversarial Audits als eigenständige Bewertungen durchgeführt werden. Dies ermöglicht eine unabhängige Überprüfung des Verhaltens und der Auswirkungen des Systems.

Datenerfassungstechniken

Die Durchführung eines Adversarial Audits beinhaltet die Erfassung von Auswirkungsdaten in großem Maßstab unter Verwendung von Techniken wie:

• Scraping von Webquellen.
• Befragung von Endnutzern.
• Crowdsourcing von Daten von Endnutzern.
• Einsatz von „Sockpuppeting“ – Erstellung gefälschter Profile mit bestimmten Merkmalen, um Modellergebnisse auszulösen und zu analysieren.

Im Wesentlichen sind Adversarial Audits am wertvollsten, wenn es um komplexe, risikoreiche KI-Systeme geht, wenn Auditergebnisse überprüft werden müssen und wenn aufgrund von Zugangsbeschränkungen unabhängige Bewertungen erforderlich sind.

german

Was sind die wesentlichen Bestandteile eines effektiven Prüfberichts?

Aus der Sicht eines Tech-Journalisten, der sich auf KI-Governance und Compliance spezialisiert hat, kommt es beim Prüfbericht auf den Punkt. Es geht nicht nur darum, Kästchen abzuhaken, sondern darum, Vertrauen aufzubauen und sicherzustellen, dass KI-Systeme mit gesellschaftlichen Werten und rechtlichen Rahmenbedingungen übereinstimmen. Hier ist, was ein effektiver KI-Prüfbericht enthalten muss:

Kernprüfberichte

• Interner E2EST/AA-Bericht mit Abhilfemaßnahmen und Anlagen: Dieser Bericht dokumentiert den Prüfungsprozess, identifiziert Probleme und beschreibt die angewandten oder anwendbaren Abhilfestrategien. Algorithmische Prüfer *sollten* proaktiv sein, Lösungen vorschlagen, die Umsetzung überwachen und Endergebnisse berichten.

• Öffentlicher E2EST/AA-Bericht: Dies ist das nach außen gerichtete Dokument, das das System, die Prüfungsmethodik, die Abhilfebemühungen, die Verbesserungen und die zukünftigen Empfehlungen beschreibt. Entscheidend ist, dass er die Häufigkeit und Methodik (einschließlich spezifischer Metriken) für nachfolgende Prüfungen vorschlagen muss.

• Periodische E2EST/AA-Berichte: Dies sind wiederkehrende Folgeberichte. Sie müssen sich auf den ursprünglichen Prüfbericht beziehen und bestätigen, dass die Entwickler weiterhin Bias-Tests durchgeführt, Abhilfestrategien eingesetzt und die Auswirkungen verfolgt haben.

Im Rahmen einer Untersuchung durch eine Aufsichtsbehörde sollten effektive Prüfberichte Elemente enthalten, die Folgendes nachverfolgen:

• Identifizierung und Transparenz der KI-basierten Komponente, Versionshistorie der Entwicklung der KI-Komponente.
• Identifizierung der Verantwortlichkeiten, die mit den einzelnen Verarbeitungsstufen verbunden sind.
• Transparenz der Datenquellen.
• Identifizierung der Definition der beabsichtigten Zwecke, des Kontexts potenzieller Datenempfänger, der Beschränkungen der Datenspeicherung und der Analyse der Kategorien von Datensubjekten.
• Identifizierung der Entwicklungspolitik der KI-basierten Komponente.
• Dokumentation grundlegender theoretischer Modelle.
• Dokumentation des methodischen Rahmens.
• Dokumentation der grundlegenden Architektur der KI-basierten Komponente.

Wichtige Elemente für alle Berichte:

Dokumentation: Alle Interaktionen und ausgetauschten Dokumente müssen von Systembesitzern und Prüfern zusammengestellt und archiviert werden.

Risikomanagement:

• Durchgeführte Risikoanalyse in Bezug auf Sicherheits- und Datenschutzanforderungen.
• Standards und Best Practices, die bei der sicheren Konfiguration und Entwicklung der KI-Komponente berücksichtigt werden.

Erklärbarkeitsprofile: Prüfberichte müssen Erklärbarkeitsprofile enthalten, um Konsequenzen zu erläutern, die Lesbarkeit des Codes, die Logikkomprimierung und die interne Konsistenz sicherzustellen.

Regelmäßige Audits: Abhängig von der Systemkomplexität können sowohl interne als auch öffentliche Versionen regelmäßiger Audits erforderlich sein.