Aperçu
Les employeurs de la ville de New York doivent fournir un avis clair et opportun aux candidats et aux employés lorsque des outils de décision automatisés (AEDT) sont utilisés, en identifiant les qualifications et caractéristiques du poste évaluées.
Un audit récent du contrôleur a révélé que l’application de la loi locale 144 par le département de la protection des consommateurs et des travailleurs (DCWP) est actuellement inefficace, signalant d’importants échecs dans la gestion des plaintes, les examens de conformité et l’utilisation de l’expertise disponible.
L’audit a relevé des déficiences opérationnelles significatives, notamment des plaintes mal dirigées, des examens superficiels des audits de biais publiés et un manquement à suivre les procédures d’application établies.
Le DCWP s’est engagé à mettre en œuvre la plupart des recommandations du contrôleur, signalant un passage vers une surveillance plus rigoureuse et une activité d’application plus forte.
Les employeurs doivent s’attendre à une phase d’application plus stricte, avec des enquêtes accrues et le risque de pénalités quotidiennes, et sont encouragés à effectuer des inventaires d’AEDT, vérifier la conformité et renforcer la documentation.
Analyse de la loi locale 144
La loi locale 144 de la ville de New York impose des obligations d’évaluation des biais et de transparence aux employeurs et agences de recrutement qui utilisent des AEDT pour sélectionner des candidats ou évaluer des employés pour des promotions.
La loi définit un AEDT comme tout processus computationnel dérivé de l’apprentissage automatique, de la modélisation statistique, de l’analyse de données ou de l’intelligence artificielle, utilisé pour « aider substantiellement ou remplacer » la prise de décision discrétionnaire pour les décisions d’emploi.
Les règles du DCWP précisent qu’un AEDT « aide substantiellement » ou « remplace » la prise de décision discrétionnaire lorsqu’un employeur (1) s’appuie exclusivement sur la sortie de l’outil, (2) pèse cette sortie plus lourdement que tout autre critère, ou (3) l’utilise pour annuler le jugement humain ou d’autres facteurs menant à une conclusion différente.
Les employeurs utilisant des outils qui répondent à la définition d’un AEDT doivent se conformer à trois obligations principales :
Audit de biais indépendant
Les employeurs doivent engager un auditeur indépendant pour effectuer un audit de biais annuel de l’outil. L’audit doit évaluer si l’outil a un impact disparate potentiel sur des groupes d’un sexe, d’une race ou d’une ethnie particuliers en calculant les taux de sélection et de notation ainsi que leurs « ratios d’impact » correspondants.
Transparence publique
Les employeurs doivent « afficher clairement et de manière visible » un résumé des résultats de l’audit de biais le plus récent sur leur site Web, qu’il soit maintenu par l’employeur ou l’agence de recrutement.
Avis aux candidats
Les employeurs doivent fournir un avis clair et opportun aux candidats et employés de la ville de New York que des AEDT seront utilisés dans leur évaluation. L’avis doit identifier les qualifications et caractéristiques du poste que l’outil évalue et informer les individus de leur droit de « s’exclure » de l’utilisation de l’AEDT en demandant un processus de sélection alternatif ou un aménagement raisonnable.
Résultats clés de l’audit et risques accrus d’application
L’audit du contrôleur, qui a examiné les activités du DCWP de juillet 2023 à juin 2025, a conclu que le système d’application de la loi locale 144 par l’agence est « inefficace ». Plusieurs déficiences critiques ont été mises en lumière.
Gestion des plaintes défaillante et application passive
L’audit a souligné une rupture fondamentale dans la stratégie d’application basée sur les plaintes du DCWP, critiquant l’agence pour son absence de mesures proactives visant à remédier au système. Le contrôleur a constaté que les plaintes étaient souvent mal dirigées vers le DCWP et que l’agence avait des instructions peu claires sur son site Web ainsi que des directives insuffisantes concernant le dépôt des plaintes.
Examens de conformité superficiels
L’audit a également critiqué le DCWP pour son examen des audits de biais publiés par les entreprises, notant que l’agence a examiné 32 de ces audits mais n’a identifié qu’un seul problème de non-conformité, alors que le contrôleur en a relevé au moins 17 potentiels.
Utilisation inadéquate de l’expertise disponible
L’audit a déclaré que ces examens inadéquats résultaient d’un manquement à utiliser les procédures appropriées. L’agence n’a pas utilisé le « Cahier des charges d’application » formel ni consulté le bureau de la technologie et de l’innovation de New York lors de décisions concernant des violations potentielles.
Implications et actions recommandées
L’audit du contrôleur signale une attente d’application renforcée, plaçant le DCWP sous une pression publique substantielle. En réponse, l’agence a convenu de mettre en œuvre la majorité des recommandations du contrôleur. Ces engagements comprennent :
- Renforcement du processus de gestion des plaintes pour garantir que les plaintes liées aux AEDT sont correctement dirigées
- Formation interdivisionnelle du personnel sur la gestion de ces plaintes
- Mise en œuvre de politiques et procédures écrites pour assurer un traitement précis et cohérent
- Amélioration de l’approche d’application via entretiens et démonstrations d’outils AEDT, lorsque approprié
Les employeurs soumis à la loi locale 144 peuvent s’attendre à une nouvelle phase d’application stricte, incluant enquêtes plus fréquentes et pénalités civiles pouvant atteindre 1 500 USD par violation par jour. L’audit indique comment le DCWP pourrait identifier les entreprises non conformes.
Les employeurs utilisant des outils automatisés pour l’embauche ou la promotion sont encouragés à considérer les actions suivantes :
Effectuer un inventaire complet des AEDT
Déterminer si un outil relève de la loi locale 144 est une analyse spécifique. Il est conseillé de travailler avec des conseillers juridiques pour inventorier tous les logiciels tiers et internes utilisés dans les processus d’embauche et de promotion, et analyser comment chaque sortie est utilisée pour évaluer son statut et conseiller sur les risques potentiels.
Assurer la conformité à l’audit de biais
Les entreprises utilisant un AEDT devraient obtenir un audit de biais conforme pour éviter des pénalités importantes.
Vérifier toutes les divulgations publiques et avis
Les entreprises doivent s’assurer que le résumé requis de leur audit est « clairement et visiblement » disponible sur leur site Web et que leurs avis aux candidats sont fournis correctement et en temps utile.
Documenter les efforts de conformité
En prévision de contrôles accrus des régulateurs, il est recommandé de maintenir un enregistrement clair et organisé des processus de conformité, incluant l’inventaire des AEDT, tous les audits de biais et leurs résultats, ainsi que les enregistrements des procédures d’avis aux candidats.
