Kritische Prüfung des KI-Einstellungsrechts in NYC signalisiert erhöhtes Risiko für Arbeitgeber
Die Prüfung des New Yorker Staatskommissars im Dezember 2025 bewertete die Durchsetzung des lokalen Gesetzes 144 durch die Abteilung für Verbraucherschutz und Arbeitsschutz in New York City. Dieses Gesetz regelt die Verwendung automatisierter Entscheidungswerkzeuge (AEDTs) bei Einstellungen und Beförderungen. Die Prüfung kam zu dem Schluss, dass die derzeitige Durchsetzung des Gesetzes „ineffektiv“ ist und nannte unter anderem problematische Beschwerdeverfahren und ungenaue Compliance-Überprüfungen.
Die Kritik des Kommissars könnte den Druck auf die Abteilung erhöhen, ihre Durchsetzungsaktivitäten zu verstärken und zu verbessern. Arbeitgeber, die AEDTs verwenden, müssen mit einem strengeren Durchsetzungsansatz rechnen und werden ermutigt, proaktive Schritte zu unternehmen, um sicherzustellen, dass ihre Compliance-Programme einer größeren Prüfung standhalten können.
Überblick über das Gesetz 144
Das lokale Gesetz 144 von New York City verpflichtet Arbeitgeber und Beschäftigungsagenturen, die AEDTs zur Auswahl von Kandidaten oder zur Bewertung von Mitarbeitern für Beförderungen verwenden, zur Bewertung von Vorurteilen und zur Transparenz. Das Gesetz definiert ein AEDT als jeden rechnerischen Prozess, der aus „maschinellem Lernen, statistischer Modellierung, Datenanalyse oder künstlicher Intelligenz“ abgeleitet ist und der „entscheidend zur Unterstützung oder Ersetzung der diskretionären Entscheidungsfindung bei Beschäftigungsentscheidungen beiträgt“. Die Regeln der Abteilung zur Umsetzung des Gesetzes erläutern weiter, dass ein AEDT die diskretionäre Entscheidungsfindung „entscheidend unterstützt“ oder „ersetzt“, wenn ein Arbeitgeber (1) ausschließlich auf die Ergebnisse des Werkzeugs vertraut, (2) diese Ergebnisse schwerer gewichtet als andere Kriterien oder (3) sie verwendet, um menschliches Urteil oder andere Faktoren zu überstimmen, die zu einer anderen Schlussfolgerung geführt haben.
Arbeitgeber, die Werkzeuge verwenden, die die Definition eines AEDTs erfüllen, müssen drei wesentliche Verpflichtungen einhalten:
- Unabhängige Vorurteilsprüfung: Arbeitgeber müssen einen unabhängigen Prüfer beauftragen, um jährlich eine Vorurteilsprüfung des Werkzeugs durchzuführen. Die Prüfung muss bewerten, ob das Werkzeug eine potenziell unterschiedliche Auswirkung auf Gruppen eines bestimmten Geschlechts, Rasse oder ethnischer Kategorie hat, indem Auswahl- und Punktzahlen sowie die entsprechenden „Auswirkungsverhältnisse“ berechnet werden.
- Öffentliche Transparenz: Arbeitgeber müssen die Ergebnisse der letzten Vorurteilsprüfung „klar und auffällig“ auf ihrer Website veröffentlichen, unabhängig davon, ob diese von dem Arbeitgeber oder der Beschäftigungsagentur verwaltet wird.
- Kandidatenbenachrichtigungen: Arbeitgeber müssen den Kandidaten und Mitarbeitern in New York City rechtzeitig und klar mitteilen, dass ein AEDT bei ihrer Bewertung verwendet wird. Die Benachrichtigung muss die zu bewertenden Jobqualifikationen und Merkmale identifizieren und die Personen über ihr Recht informieren, „auszusteigen“, indem sie einen alternativen Auswahlprozess oder eine angemessene Anpassung anfordern.
Wesentliche Prüfungsergebnisse signalisieren erhöhtes Durchsetzungsrisiko
Die Prüfung des Kommissars, die die Aktivitäten der Abteilung von Juli 2023 bis Juni 2025 überprüfte, kam zu dem Schluss, dass das System zur Durchsetzung des Gesetzes 144 „ineffektiv“ ist. Die Prüfung hebt mehrere kritische Mängel hervor:
- Fehlerhafte Beschwerdeaufnahme und passive Durchsetzung: In der Prüfung wurde ein grundlegender Zusammenbruch in der beschwerdegestützten Durchsetzungsstrategie der Abteilung festgestellt. Die Prüfung kritisierte die Abteilung dafür, dass sie keine proaktiven Schritte unternahm, um das System zu beheben.
- Oberflächliche Compliance-Überprüfungen: Die Prüfung kritisierte auch die Überprüfung der öffentlich veröffentlichten Vorurteilsprüfungen durch die Abteilung, da nur ein Verstoß gegen die Compliance identifiziert wurde, während die Prüfung eigene 17 potenzielle Verstöße fand.
- Versäumnis, verfügbare Expertise zu nutzen: Die Prüfung stellte fest, dass die unzureichenden Überprüfungen der Abteilung auf einem Versäumnis beruhten, ordnungsgemäße Verfahren zu verwenden.
Implikationen und empfohlene Maßnahmen
Die Prüfung des Kommissars signalisiert eine Erwartung strengerer Durchsetzung, was den Druck auf die Abteilung erheblich erhöht. In ihrer Antwort auf die Prüfung erklärte die Abteilung, dass sie die meisten Empfehlungen des Kommissars umsetzen werde. Diese Verpflichtungen umfassen:
- Stärkung des Beschwerdeverfahrens, um sicherzustellen, dass AEDT-bezogene Beschwerden ordnungsgemäß weitergeleitet werden.
- Bereitstellung von Schulungen für das Personal zur Handhabung solcher Beschwerden.
- Implementierung schriftlicher Richtlinien und Verfahren zur Förderung einer genauen und konsistenten Handhabung.
- Verbesserung des Durchsetzungsansatzes durch Interviews und Demonstrationen von AEDT-Werkzeugen, wo dies angemessen ist.
Arbeitgeber, die dem Gesetz 144 unterliegen, können mit einer neuen Phase strengerer Durchsetzung rechnen, die häufigere Untersuchungen und höhere Geldstrafen von bis zu 1.500 USD pro Tag für Verstöße umfassen könnte. Die Prüfung bietet einen Fahrplan, wie die Abteilung nicht konforme Unternehmen identifizieren kann.
Arbeitgeber in New York City, die automatisierte Werkzeuge für Einstellungen oder Beförderungen verwenden, werden ermutigt, die folgenden proaktiven Schritte zu berücksichtigen:
- Durchführen eines umfassenden AEDT-Inventars: Arbeitgeber sollten ein Inventar aller verwendeten Software zur Einstellung und Beförderung erstellen und analysieren, wie die Ergebnisse jedes Werkzeugs gewichtet und verwendet werden, um den Status unter dem Gesetz zu bewerten.
- Compliance mit der Vorurteilsprüfung erreichen und aufrechterhalten: Unternehmen, die ein AEDT verwenden, sollten sicherstellen, dass eine konforme Vorurteilsprüfung durchgeführt wird.
- Überprüfung aller öffentlichen Bekanntmachungen und Benachrichtigungen: Unternehmen sollten sicherstellen, dass die Zusammenfassung ihrer Prüfung „klar und auffällig“ auf der Website verfügbar ist und dass die Benachrichtigungen korrekt und rechtzeitig bereitgestellt werden.
- Dokumentation der Compliance-Bemühungen: Unternehmen sollten eine klare und organisierte Aufzeichnung ihres Compliance-Prozesses führen, um auf eine größere Prüfung durch die Regulierungsbehörden vorbereitet zu sein.
Fazit
Die Prüfung des Kommissars stellt eine bedeutende Herausforderung für Arbeitgeber dar, die AEDTs verwenden. Unternehmen müssen ihre Compliance-Programme proaktiv überprüfen und anpassen, um den neuen Anforderungen gerecht zu werden und rechtliche sowie finanzielle Risiken zu minimieren.