New York: Kritische Prüfung des KI-Einstellungsrechts der Stadt New York signalisiert erhöhtes Risiko für Arbeitgeber
Arbeitgeber in der Stadt New York müssen klare und rechtzeitige Informationen an Bewerber und Mitarbeiter geben, wenn ein automatisiertes Einstellungsentscheidungswerkzeug (AEDT) verwendet wird, und die zu bewertenden Jobqualifikationen und -merkmale angeben.
Eine aktuelle Prüfung des Rechnungshofes hat ergeben, dass die Durchsetzung des lokalen Gesetzes 144 durch das Department of Consumer and Worker Protection (DCWP) derzeit ineffektiv ist, mit erheblichen Mängeln bei der Beschwerdeaufnahme, den Compliance-Überprüfungen und der Nutzung verfügbarer Expertise.
Die Prüfung hat signifikante operationale Defizite aufgezeigt, darunter falsch geleitete Beschwerden, oberflächliche Überprüfungen von öffentlich veröffentlichten Bias-Audits und das Versäumnis, festgelegte Durchsetzungsverfahren zu befolgen.
Das DCWP hat sich verpflichtet, die meisten der Empfehlungen des Rechnungshofes umzusetzen, was auf einen Wandel hin zu einer rigoroseren Aufsicht und stärkeren Durchsetzungsmaßnahmen hindeutet.
Arbeitgeber sollten mit einer strikteren Durchsetzungsphase rechnen, die häufigere Untersuchungen und das Risiko täglicher Strafen mit sich bringt, und werden ermutigt, AEDT-Inventare durchzuführen, die Compliance zu überprüfen und die Dokumentation zu verbessern.
Überblick über das lokale Gesetz 144
Das lokale Gesetz 144 der Stadt New York legt Bias-Bewertungs- und Transparenzpflichten für Arbeitgeber und Personalvermittlungsagenturen fest, die AEDTs zur Überprüfung von Bewerbern oder zur Bewertung von Mitarbeitern für Beförderungen verwenden.
Ein AEDT wird definiert als jeder rechnergestützte Prozess, der aus „Maschinenlernen, statistischer Modellierung, Datenanalyse oder künstlicher Intelligenz“ abgeleitet ist und der „substanziell bei oder anstelle von Ermessensentscheidungen für Einstellungsentscheidungen hilft oder diese ersetzt.“ Die Vorschriften des DCWP, die das lokale Gesetz 144 umsetzen, erläutern weiter, dass ein AEDT „substanziell hilft“ oder „ersetzt“, wenn ein Arbeitgeber (1) ausschließlich auf die Ausgaben des Werkzeugs angewiesen ist, (2) diese Ausgaben stärker gewichtet als andere Kriterien oder (3) sie zur Überstimmung menschlicher Urteile oder anderer Faktoren verwendet, die zu einer anderen Schlussfolgerung führten.
Arbeitgeber, die Werkzeuge verwenden, die der Definition eines AEDT entsprechen, müssen drei wesentliche Verpflichtungen einhalten:
Unabhängige Bias-Audits
Arbeitgeber müssen einen unabhängigen Prüfer beauftragen, um jährlich ein Bias-Audit des Werkzeugs durchzuführen. Das Audit muss bewerten, ob das Werkzeug potenzielle unterschiedliche Auswirkungen auf Gruppen eines bestimmten Geschlechts, Rasse oder ethnischen Kategorie hat, indem Auswahl- und Bewertungsraten sowie die entsprechenden „Auswirkungsverhältnisse“ berechnet werden.
Öffentliche Transparenz
Arbeitgeber müssen eine Zusammenfassung der neuesten Ergebnisse des Bias-Audits „klar und auffällig“ auf ihrer Website veröffentlichen, unabhängig davon, ob diese von dem Arbeitgeber oder der Personalvermittlungsagentur verwaltet wird.
Bewerberhinweise
Arbeitgeber müssen den Bewerbern und Mitarbeitern in New York City klar und rechtzeitig mitteilen, dass ein AEDT in ihrer Bewertung verwendet wird. Die Mitteilung muss die Jobqualifikationen und Merkmale, die das Werkzeug bewertet, angeben und die Personen über ihr Recht informieren, „auszusteigen“ und einen alternativen Auswahlprozess oder eine angemessene Unterbringung zu beantragen.
Kernbefunde der Prüfung signalisieren erhöhtes Durchsetzungsrisiko
Die Prüfung des Rechnungshofes, die die Aktivitäten des DCWP von Juli 2023 bis Juni 2025 überprüfte, kam zu dem Schluss, dass das System zur Durchsetzung des lokalen Gesetzes 144 „ineffektiv“ ist. Die Prüfung hebt mehrere kritische Mängel hervor.
Fehlerhafte Beschwerdeaufnahme und passive Durchsetzung
Die Prüfung stellte eine grundlegende Aufschlüsselung in der beschwerdegetriebenen Durchsetzungsstrategie des DCWP fest und kritisierte das DCWP, keine proaktiven Schritte zur Behebung des Systems zu unternehmen. Beschwerden wurden oft nicht korrekt an das DCWP weitergeleitet, und es gab keine klaren Anweisungen auf der Website des DCWP, wie Beschwerden eingereicht werden können.
Oberflächliche Compliance-Überprüfungen
Die Prüfung kritisierte auch die Überprüfung der vom Unternehmen öffentlich veröffentlichten Bias-Audits durch das DCWP und stellte fest, dass das DCWP 32 solcher Audits überprüfte, aber nur ein Problem der Nichteinhaltung identifizierte. Die eigene Überprüfung des Rechnungshofes desselben Satzes von Audits identifizierte jedoch mindestens 17 potenzielle Nichteinhaltungsprobleme.
Versäumnis, verfügbare Expertise zu nutzen
Die Prüfung stellte fest, dass die unzureichenden Überprüfungen des DCWP auf einem Versäumnis beruhten, geeignete Verfahren zu nutzen. Das Amt hatte laut der Prüfung das formale „Durchsetzungsarbeitsbuch“ nicht verwendet oder das New York City Office of Technology and Innovation konsultiert, wenn es um Feststellungen zu potenziellen Verstößen ging.
Implikationen und empfohlene Maßnahmen
Die Prüfung des Rechnungshofes signalisiert eine Erwartung erhöhter Durchsetzung, was das DCWP unter erheblichen öffentlichen Druck setzt. In seiner Antwort auf die Prüfung hat die Behörde zugestimmt, die Mehrheit der Empfehlungen des Rechnungshofes umzusetzen. Diese Verpflichtungen umfassen:
- Stärkung des Beschwerdeverfahrens, um sicherzustellen, dass AEDT-bezogene Beschwerden korrekt weitergeleitet werden,
- Bereitstellung von abteilungsübergreifendem Training für Mitarbeiter im Umgang mit solchen Beschwerden,
- Implementierung schriftlicher Richtlinien und Verfahren zur Förderung einer genauen und konsistenten Handhabung und
- Verbesserung des Durchsetzungsansatzes durch Interviews und Demonstrationen von AEDT-Werkzeugen, wo dies angemessen ist.
Arbeitgeber, die dem lokalen Gesetz 144 unterliegen, können mit einer neuen Phase strengerer Durchsetzung rechnen, die potenziell häufigere Untersuchungen und höhere Geldstrafen – bis zu 1.500 USD pro Verstoß und Tag – umfasst. Die Prüfung bietet eine Roadmap dafür, wie das DCWP nicht konforme Unternehmen identifizieren könnte. Arbeitgeber in der Stadt New York, die automatisierte Werkzeuge für die Einstellung oder Beförderung verwenden, werden ermutigt, die folgenden proaktiven Schritte zu erwägen:
- Durchführung eines umfassenden AEDT-Inventars: Arbeitgeber werden ermutigt, mit Rechtsberatern zusammenzuarbeiten, um alle Drittanbieter- und internen Softwarelösungen, die in Einstellungs- und Beförderungsprozessen verwendet werden, zu inventarisieren und zu analysieren, wie die Ausgaben jedes Werkzeugs gewichtet und in der Praxis genutzt werden, um ihren Status unter dem Gesetz zu bewerten und potenzielle Risiken zu beraten.
- Erreichung und Aufrechterhaltung der Compliance mit dem Bias-Audit: Unternehmen, die ein AEDT verwenden, werden ermutigt, ein konformes Bias-Audit zu sichern, um erhebliche Geldstrafen zu vermeiden.
- Unternehmen ohne ein bestehendes Audit sollten sofort Maßnahmen ergreifen, um rechtliche und finanzielle Risiken zu mindern, indem sie einen qualifizierten unabhängigen Prüfer beauftragen, die gesetzlich geforderten Tests durchzuführen und sicherzustellen, dass das abschließende Audit und die öffentlichen Offenlegungen allen strengen Anforderungen des lokalen Gesetzes 144 entsprechen.
- Unternehmen mit einem bestehenden Audit sollten nicht davon ausgehen, dass ein vom Anbieter bereitgestelltes oder vorhandenes Bias-Audit konform ist. Die Prüfung des Rechnungshofes deutet darauf hin, dass frühere DCWP-Überprüfungen nicht robust waren und möglicherweise rechtliche Mängel übersehen haben. Arbeitgeber sollten in Erwägung ziehen, mit externen Rechtsberatern zusammenzuarbeiten, um eine privilegierte Überprüfung der aktuellen Bias-Audits durchzuführen, um Lücken zu identifizieren und zu beheben, bevor sie zu Haftungsproblemen werden.
- Überprüfung aller öffentlichen Offenlegungen und Mitteilungen: Unternehmen sollten bestätigen, dass die erforderliche Zusammenfassung ihres Audits „klar und auffällig“ auf der Website des Unternehmens verfügbar ist und dass ihre Bewerberhinweise korrekt und rechtzeitig bereitgestellt werden.
- Dokumentation der Compliance-Bemühungen: In Erwartung größerer Prüfungen durch die Aufsichtsbehörden werden Unternehmen ermutigt, einen klaren und organisierten Nachweis ihres Compliance-Prozesses zu führen. Dies umfasst das AEDT-Inventar, alle Bias-Audits und deren Ergebnisse sowie Aufzeichnungen über die Verfahren zur Bewerberbenachrichtigung.
