Generative KI im Unternehmen: 11 Schritte zur effektiven Prüfung

11 Schritte zur Durchführung eines Audits für generative KI am Arbeitsplatz

Mit dem Übergang von Unternehmen von informellen Experimenten zur täglichen Nutzung von generativen KI-Tools, insbesondere im Personalwesen, wird die Notwendigkeit eines umfassenden KI-Audits immer offensichtlicher. Ähnlich wie Unternehmen regelmäßig die Lohngleichheit, die Einhaltung von Arbeitszeitvorgaben und die Datensicherheit bewerten, sollten Compliance-Teams ähnliche Aufmerksamkeit auf die Förderung eines verantwortungsvollen und konformen Einsatzes von KI über das ganze Unternehmen hinweg verwenden. Ein gut geplantes KI-Audit kann helfen, potenzielle rechtliche, operationale und reputationsbezogene Risiken zu identifizieren, bevor sie eskalieren, und kann die Vorbereitung relevanter KI-Richtlinien sowie die Entwicklung geeigneter interner KI-Schulungen informieren.

Schnelle Hinweise

• Integration von KI-Tools: Mit der zunehmenden Integration von generativen KI-Tools in die täglichen Abläufe, insbesondere im Personalwesen, sind KI-Audits entscheidend, um rechtliche, operationale und reputationsbezogene Risiken zu mindern.
• Bildung eines interdisziplinären Auditteams: Die Bildung eines interdisziplinären Auditteams und die Kartierung der verwendeten KI-Tools sind wichtige erste Schritte zur Durchführung umfassender KI-Audits, um einen verantwortungsvollen und konformen Einsatz von KI sicherzustellen.
• Regelmäßige KI-Audits: Regelmäßige KI-Audits, einschließlich Bias-Bewertungen und Überprüfungen von Lieferantenverträgen, helfen Organisationen, mit sich entwickelnden Vorschriften konform zu bleiben und Transparenz sowie Datensicherheit in ihren KI-Initiativen aufrechtzuerhalten.

Organisationen sollten umfassende KI-Audits mindestens jährlich, wenn nicht vierteljährlich, in Betracht ziehen, mit gezielten Überprüfungen, die durch die Implementierung neuer KI-Tools, regulatorische Änderungen oder identifizierte Compliance-Probleme ausgelöst werden. Im Allgemeinen sollten Organisationen einige gängige Schritte in Bezug auf KI-Audits beachten.

1. Identifizierung eines interdisziplinären Auditteams

Zu Beginn sollte ein interdisziplinäres Auditteams gebildet werden, das aus Vertretern von Compliance, Personalwesen, Informationstechnologie, Recht und anderen Abteilungen mit signifikanten Interessen an der Nutzung von KI besteht. Dies ermöglicht es, dass vielfältige Stimmen am Audit teilnehmen und reduziert die Möglichkeit von Blindstellen oder widersprüchlichen Richtlinien zwischen verschiedenen Abteilungen. Typischerweise leitet der Unternehmensanwalt, der Compliance-Leiter oder ein Personalverantwortlicher das Audit, obwohl der geeignetste Leiter je nach Unternehmensgröße, Branche und bestehenden KI-Initiativen variieren kann. Je nach den Umständen kann es auch erforderlich sein, externe Berater hinzuzuziehen, um das Audit zu leiten.

2. Durchführung der KI-Nutzungsmapping

Sobald das Auditteams gebildet ist, sollten Arbeitgeber die KI-Tools und Anbieter, die im gesamten Unternehmen verwendet werden, kartieren. Die Erstellung dieses Inventars sollte dem Datenmapping-Prozess ähneln, der im Rahmen des Datenschutzprogramms der Organisation durchgeführt wurde. Es erfasst nicht nur Chatbot-ähnliche Tools oder automatisierte Entscheidungssoftware, sondern auch Datenanalyseplattformen oder Software, die im HR-Kontext auf maschinellem Lernen basiert. Beispiele für potenziell relevante KI-Tools reichen von automatisierten Job-Screening-Plattformen und Kandidatenabgleichsystemen bis hin zu Tools, die für Mitarbeitereinengagement-Umfragen, Leistungsbewertungen und Talententwicklung entwickelt wurden. Organisationen können mit ihren KI-Governance-Leitern zusammenarbeiten, um ein zuverlässiges Verfahren zur Aktualisierung dieses Inventars zu entwickeln, sobald neue KI-Tools eingeführt werden.

3. Identifizierung der für das Audit relevanten Gesetze und Vorschriften

In Abwesenheit eines umfassenden nationalen KI-Gesetzes in den Vereinigten Staaten sollten Organisationen über ein sich schnell entwickelndes Gefüge von bundesstaatlichen, landesweiten, lokalen und internationalen Vorschriften informiert bleiben. Einige Bundesstaaten in den USA haben bereits KI-bezogene rechtliche Rahmenbedingungen implementiert, einschließlich Bestimmungen, die aus dem EU-KI-Gesetz abgeleitet sind, das sich auf hochriskante KI-Systeme und die Minderung algorithmischer Diskriminierung konzentriert. Beispielsweise erfordert das Gesetz 144 der Stadt New York Bias-Audits für automatisierte Entscheidungswerkzeuge im Personalwesen, während Illinois’ Gesetz 3773 spezifische Offenlegungspflichten für den Einsatz von KI bei Einstellung erfordert. Andere Staaten, wie Texas, entwickeln KI-Gesetze, die einzigartig für den Bundesstaat sind und sich auf die Regelung einer begrenzten Reihe von Anwendungen von KI-Tools konzentrieren, während sie Schritte zur Förderung der verantwortungsvollen Entwicklung von KI-Technologien unternehmen. Zudem passen Staaten wie Connecticut ihre Datenschutzgesetze an, um KI zu regeln.

Während die Landschaft komplex und ständig im Wandel ist, ist es ein wichtiger Compliance-Schritt, diese verschiedenen rechtlichen Entwicklungen zu überwachen, damit Unternehmen die regulatorischen Rahmenbedingungen für die Bewertung ihrer Nutzung von KI-Tools verstehen und gegebenenfalls ihre KI-Prozesse anpassen können.

4. Bewertung potenzieller Bias

Sogar bei der besten Absicht können bei der Verwendung von KI-Tools Bias aus historischen Datenungleichgewichten, fehlerhaften Trainingsmethoden oder anderen zugrunde liegenden Designfragen entstehen. Nach Abschluss des Inventars der KI-Nutzung und der Identifizierung der rechtlichen und regulatorischen Anforderungen, die für die Nutzung von KI-Technologien der Organisation gelten, sollten Organisationen einen qualifizierten Prüfer oder ein Team von Prüfern mit der Durchführung einer detaillierten Bias-Bewertung jedes KI-Tools beauftragen. Methoden zur Erkennung und Minderung von Bias umfassen sowohl technische Überprüfungen als auch Interviews mit wichtigen Interessengruppen und beinhalten typischerweise eine Bewertung, wie repräsentativ die zugrunde liegenden Trainingsdatensätze sind, wie die Leistung des Tools über demografische Gruppen hinweg variieren kann und ob es unbeabsichtigte negative Auswirkungen auf geschützte Gruppen gibt. Wenn möglich, sollten Organisationen fortschrittliche Entbias-Techniken, gründliches Modelltraining und angemessene menschliche Aufsicht verwenden, um beobachtete oder potenzielle Bias zu korrigieren.

5. Aufrechterhaltung von Transparenz und ordnungsgemäßer Dokumentation

Organisationen, die intern entwickelte generative KI-Tools verwenden, sollten sich der Notwendigkeit der Transparenz bezüglich der Entwicklung, des Trainings und der Implementierung von KI-Tools bewusst sein. Dies ist sowohl aus Compliance- als auch aus politischen Perspektiven von entscheidender Bedeutung. In der Praxis bedeutet dies, die Datenquellen zu dokumentieren, die zur Schulung der Tools verwendet werden, die Parameter der KI-Modelle festzuhalten und alle Eingriffe zu dokumentieren, die zur Adressierung von Bias oder zur Verbesserung der Genauigkeit vorgenommen wurden. Ebenso wird der Vendor-Diligence-Prozess für Organisationen, die KI-Technologien von Drittanbietern beziehen, wahrscheinlich diese Arten von Dokumenten von den Anbietern umfassen, die die Organisation möglicherweise aufbewahren möchte, ebenso wie die Dokumentation von proprietären KI-Tools. Diese interne Dokumentation bietet Klarheit für relevante Interessengruppen, unterstützt Auditaktivitäten und dient als wertvolle – und oft gesetzlich erforderliche – Ressource, wenn externe Regulierungsbehörden Informationen über die Nutzung von KI durch die Organisation anfordern.

6. Überprüfung von Lieferantenverträgen

Organisationen, die Drittanbieter-KI-Lösungen einsetzen, sollten die Lieferantenverträge sorgfältig überprüfen. Wichtige Faktoren, auf die man achten sollte, sind Bestimmungen, die zentrale Themen wie die Haftung für Bias-Ansprüche, Entschädigung im Falle von Regelverstößen und die Einhaltung von Datenschutz- und Datensicherheitsstandards ansprechen. Die Einbeziehung interner Anwälte oder externer Rechtsexperten in diesen Vertragsüberprüfungsprozess hilft oft sicherzustellen, dass die Interessen des Unternehmens angemessen geschützt sind.

7. Aktualisierung interner KI-Nutzungs- und Governance-Richtlinien

Organisationen sollten in Erwägung ziehen, eine interne KI-Nutzungsrichtlinie zu implementieren oder zu verfeinern, die unternehmensweit gilt. Solche Richtlinien identifizieren typischerweise genehmigte KI-Tools, skizzieren akzeptable Verwendungen und enthalten Überlegungen zu Cybersicherheit und Datenschutz, Compliance-Verpflichtungen, Überwachungsverfahren und ethischen Richtlinien. Ebenso sollten Organisationen ihre KI-Governance-Richtlinien im Rahmen des Auditprozesses überarbeiten, wobei der Fokus auf klaren Zuständigkeiten für die KI-Governance und -Überwachung im Unternehmen, Standards für die Implementierung, Überwachung und Sicherheit von KI-Technologien sowie klaren Aussagen zu verantwortungsvoller KI-Entwicklung und Risikominderung liegt. Die Förderung eines konsistenten Wissens über diese Governance-Prinzipien trägt zu einer gemeinsamen Kultur der Verantwortlichkeit bei der Nutzung von KI bei.

8. Bewertung und Implementierung von KI-Nutzungs-Training

Organisationen sollten sicherstellen, dass Mitarbeiter, die mit KI-Tools umgehen oder auf diese angewiesen sind, vor dem Einsatz dieser Technologien eine rollenspezifische Schulung erhalten. Schulungsmodule sollten Themen wie Datenethik, Datenschutzrisiken und -überlegungen sowie verantwortungsvolle Nutzung betonen. Personen, die stärker in KI-Prozesse involviert sind, wie Personalentscheidungs-träger oder IT-Entwickler, benötigen möglicherweise eine vertiefte Schulung zur Bias-Erkennung (wie die Prüfung auf disparate Auswirkungen), zu geeigneten Anwendungsfällen und Verfahren zur Meldung von Bedenken oder Fehlern sowie zur Einhaltung der geltenden Gesetze, wie z.B. Anforderungen an Benachrichtigung, Einspruch und Dokumentation.

9. Gewährleistung von Datenschutz und Sicherheit

Angesichts der oft sensiblen Daten, die von KI-gesteuerten Systemen verarbeitet werden, sollten Organisationen starke Datenschutzmaßnahmen in jeder Phase des KI-Lebenszyklus einführen. Dazu gehört die Beschränkung des Zugriffs auf sensible persönliche Informationen, die Verschlüsselung von Daten, wo dies angebracht ist, und die Verhinderung der unbeabsichtigten Offenlegung von sowohl proprietären Geschäftsinformationen als auch individuellen persönlichen Informationen. Auditoren sollten auch bestätigen, dass Lieferanten und Partner ähnliche oder strengere Standards beim Schutz der Daten der Organisation einhalten.

10. Bereitstellung von Offenlegungen und Benachrichtigungen

Abschließend sollten Organisationen sicherstellen, dass relevante Interessengruppen, sei es Mitarbeiter oder Bewerber, angemessene Offenlegungen über die Nutzung von KI erhalten. Wenn KI eine wesentliche Rolle bei der Sichtung von Kandidaten, bei Personalentscheidungen oder bei der Beeinflussung von Beschäftigungsergebnissen spielt, kann die Offenlegung dieser Tatsache dazu beitragen, Vertrauen aufzubauen und Vorwürfe versteckter Ungerechtigkeiten zu vermeiden. Organisationen sollten auch bestätigen, dass Mitarbeiter, wo dies zutrifft, bedeutende Informationen darüber erhalten, wie automatisierte Tools ihre Beschäftigung, Leistungsbewertungen oder andere Aspekte ihrer Arbeitsplatz-erfahrung beeinflussen können, sowie Anweisungen, wie sie ihre Rechte als Betroffene bezüglich ihrer persönlichen Informationen, die unter Verwendung von KI verarbeitet werden, ausüben können.

11. Einrichtung fortlaufender Überwachung und Kennzahlen

Über das anfängliche Audit hinaus ist eine kontinuierliche Überwachung der Prozesse und Ergebnisse entscheidend, um die Leistung und Compliance von KI zu verfolgen. Wichtige Leistungskennzahlen umfassen typischerweise Bias-Metriken über demografische Gruppen hinweg, Genauigkeitsraten, Benutzerzufriedenheitswerte und Berichte über Compliance-Vorfälle. Feedbackmechanismen für Mitarbeiter, um KI-bezogene Bedenken zu melden, unterstützt von klaren Verfahren zur Untersuchung und Bearbeitung von in diesen Berichten geäußerten Problemen, können ein wichtiges Instrument zur Qualitätskontrolle sein.

Durch die Befolgung dieses umfassenden Rahmens für die Prüfung von KI-Tools können Organisationen das Risiko rechtlicher Fallstricke erheblich reduzieren, die Datensicherheit und -integrität bewahren und das Vertrauen in ihre KI-gesteuerten Initiativen erhöhen. Mit sorgfältiger Vorbereitung und interdisziplinärer Zusammenarbeit können HR-Teams und interne Rechtsabteilungen eine konforme, faire und zukunftsorientierte KI-Umgebung gestalten.