Nova Iorque: Auditoria Crítica da Lei de Contratação de IA Sinaliza Risco Aumentado para Empregadores
Os empregadores da cidade de Nova Iorque devem fornecer um aviso claro e oportuno aos candidatos e funcionários quando uma ferramenta de decisão de emprego automatizada (AEDT) for utilizada, além de identificar as qualificações e características do trabalho que estão sendo avaliadas.
Uma auditoria recente do Controlador descobriu que a aplicação da Lei Local 144 pelo Departamento de Proteção do Consumidor e do Trabalhador (DCWP) é atualmente ineficaz, citando falhas significativas na recepção de reclamações, nas revisões de conformidade e no uso da expertise disponível.
A auditoria revelou deficiências operacionais significativas, incluindo reclamações mal direcionadas, revisões superficiais de auditorias de viés publicamente postadas e falhas em seguir os procedimentos de aplicação estabelecidos.
O DCWP comprometeu-se a implementar a maioria das recomendações do Controlador, sinalizando uma mudança em direção a uma supervisão mais rigorosa e uma atividade de aplicação mais forte.
Os empregadores devem esperar uma fase de aplicação mais rigorosa, com investigações aumentadas e o risco de penalidades diárias, sendo incentivados a conduzir inventários de AEDTs, verificar conformidade e fortalecer a documentação.
Visão Geral da Lei Local 144
A Lei Local 144 da cidade de Nova Iorque impõe obrigações de avaliação de viés e transparência aos empregadores e agências de emprego que utilizam AEDTs para triagem de candidatos ou avaliação de funcionários para promoção na cidade de Nova Iorque.
A Lei Local 144 define uma AEDT como qualquer processo computacional derivado de aprendizado de máquina, modelagem estatística, análise de dados ou inteligência artificial utilizado para assistir substancialmente ou substituir a tomada de decisão discricionária para decisões de emprego.
Os empregadores que utilizam ferramentas que atendem à definição de uma AEDT devem cumprir três obrigações principais:
Auditoria de Viés Independente
Os empregadores devem contratar um auditor independente para realizar uma auditoria anual de viés da ferramenta. A auditoria deve avaliar se a ferramenta tem um impacto disparate potencial em grupos de uma determinada categoria de sexo, raça ou etnia, calculando as taxas de seleção e pontuação e seus correspondentes índices de impacto.
Transparência Pública
Os empregadores devem postar claramente um resumo dos resultados da auditoria de viés mais recente em seu site, seja mantido pelo empregador ou pela agência de emprego.
Avisos aos Candidatos
Os empregadores devem fornecer um aviso claro e oportuno aos candidatos e funcionários da cidade de Nova Iorque de que uma AEDT será utilizada em sua avaliação. O aviso deve identificar as qualificações e características do trabalho avaliadas pela ferramenta e informar os indivíduos sobre seu direito de optar por não participar do uso da AEDT, solicitando um processo de seleção alternativo ou acomodação razoável.
Resultados da Auditoria Sinalizam Risco Aumentado de Aplicação
A auditoria do Controlador, que revisou as atividades do DCWP de julho de 2023 a junho de 2024, concluiu que o sistema da agência para aplicar a Lei Local 144 é ineficaz. A auditoria destaca várias deficiências críticas.
Recepção de Reclamações Falhada e Aplicação Passiva
A auditoria apontou uma falha fundamental na estratégia de aplicação baseada em reclamações do DCWP, criticando o órgão por não tomar medidas proativas para remediar o sistema. O Controlador descobriu que as reclamações muitas vezes não eram direcionadas corretamente ao DCWP e que o órgão apresentava instruções pouco claras em seu site sobre como registrar reclamações.
Revisões de Conformidade Superficiais
A auditoria criticou também a revisão das auditorias de viés publicadas pelas empresas, observando que o DCWP revisou 32 dessas auditorias, mas identificou apenas um problema de não conformidade. A revisão do Controlador encontrou pelo menos 17 possíveis problemas de não conformidade.
Falha em Utilizar a Expertise Disponível
A auditoria afirmou que as revisões inadequadas do DCWP decorrem de falhas em seguir os procedimentos adequados. A agência, segundo a auditoria, não utilizou o “Workbook de Aplicação” formal nem consultou o Escritório de Tecnologia e Inovação da cidade de Nova Iorque ao fazer determinações sobre possíveis violações.
Implicações e Ações Recomendadas
A auditoria do Controlador sinaliza uma expectativa de aplicação aumentada, colocando o DCWP sob pressão pública substancial. Em sua resposta, a agência concordou em implementar a maioria das recomendações do Controlador.
Esses compromissos incluem:
- Fortalecer o processo de recepção de reclamações para garantir que as relacionadas à AEDT sejam devidamente direcionadas.
- Fornecer treinamento interdepartamental para a equipe sobre como lidar e gerenciar tais reclamações.
- Implementar políticas e procedimentos escritos para promover tratamento preciso e consistente.
- Aumentar a abordagem de aplicação por meio de entrevistas e demonstrações de ferramentas AEDT, quando apropriado.
Os empregadores sujeitos à Lei Local 144 podem esperar uma nova fase de aplicação rigorosa, potencialmente incluindo investigações mais frequentes e penalidades civis mais altas – de até USD 1.500 por violação por dia.
A auditoria fornece um roteiro para como o DCWP pode identificar empresas não conformes. Os empregadores na cidade de Nova Iorque que utilizam ferramentas automatizadas para contratação ou promoção são incentivados a considerar as seguintes etapas proativas:
- Conduzir um inventário abrangente de AEDTs: determinar se uma ferramenta se enquadra na Lei Local 144 é uma análise específica. Os empregadores devem trabalhar com consultores para inventariar todo o software de terceiros e interno usado nos processos de contratação e promoção.
- Alcançar e manter a conformidade da auditoria de viés: garantir uma auditoria de viés em conformidade para evitar penalidades.
- Empresas sem auditoria existente devem agir imediatamente para mitigar riscos legais e financeiros, contratando um auditor independente qualificado para realizar os testes exigidos por lei.
- Empresas com auditoria existente não devem presumir que está conforme. A auditoria do Controlador sugere que as revisões anteriores do DCWP foram insuficientes e podem ter perdido deficiências legais.
- Verificar todas as divulgações públicas e avisos: garantir que o resumo da auditoria esteja claro e visível no site.
- Documentar esforços de conformidade: manter registros claros e organizados do processo de conformidade, incluindo inventário de AEDT, auditorias de viés e seus resultados.
