11 Pasos para Realizar una Auditoría de IA Generativa en el Lugar de Trabajo
Conforme las organizaciones transitan desde la experimentación casual hacia el uso diario de herramientas de inteligencia artificial (IA) generativa, especialmente en recursos humanos, la necesidad de una auditoría exhaustiva de IA se vuelve cada vez más evidente. Así como las empresas evalúan regularmente la equidad salarial, el cumplimiento de horas y salarios, y la seguridad de datos, los equipos de cumplimiento deben dedicar una atención similar a promover un uso responsable y conforme de la IA en toda la empresa. Una auditoría de IA bien planificada puede ayudar a identificar riesgos legales, operativos y reputacionales potenciales antes de que se agraven y puede informar la preparación de políticas relevantes de IA, así como el desarrollo de la capacitación interna adecuada en IA.
Aspectos Clave
- A medida que las organizaciones integran cada vez más herramientas de IA generativa en sus operaciones diarias, especialmente en recursos humanos, las auditorías de IA son cada vez más importantes para mitigar riesgos legales, operativos y reputacionales.
- Formar un equipo de auditoría multifuncional y mapear las herramientas de IA en uso son pasos iniciales clave para llevar a cabo auditorías de IA completas y asegurar un uso responsable y conforme de la IA.
- Las auditorías de IA regulares, que incluyen evaluaciones de sesgos y revisiones de contratos de proveedores, ayudan a las organizaciones a mantenerse conformes con regulaciones en evolución y a mantener la transparencia y la seguridad de datos en sus iniciativas de IA.
Las organizaciones pueden considerar auditorías de IA completas al menos anualmente, si no trimestralmente, con revisiones específicas desencadenadas por nuevas implementaciones de herramientas de IA, cambios regulatorios o problemas de cumplimiento identificados. En general, las organizaciones querrán observar algunos pasos comunes con respecto a las auditorías de IA.
1. Identificación de un Equipo de Auditoría Multifuncional
Comenzar formando un equipo de auditoría multifuncional compuesto por representantes de cumplimiento, recursos humanos, tecnologías de la información, legal y cualquier otro departamento con un interés significativo en el uso de IA permite que voces diversas participen en la auditoría y reduce la posibilidad de puntos ciegos o directrices conflictivas entre diferentes departamentos. Típicamente, el abogado interno, el jefe de cumplimiento o un ejecutivo de recursos humanos lidera la auditoría, aunque el líder más adecuado puede variar según el tamaño, la industria y las iniciativas de IA existentes de la empresa. Y, dependiendo de las circunstancias, las consideraciones de privilegio pueden justificar la contratación de un abogado externo para liderar la auditoría. La empresa puede desear llevar a cabo la auditoría con un abogado externo bajo privilegio.
2. Realización del Mapeo del Uso de IA
Una vez formado el equipo de auditoría, los empleadores pueden querer mapear las herramientas y proveedores de IA en uso en toda la organización. La preparación de este tipo de inventario debe reflejar de cerca el proceso de mapeo de datos completado en conexión con el programa de privacidad de datos de la organización, y no solo captura herramientas de estilo chatbot o software de toma de decisiones automatizado, sino que también incluye plataformas de análisis de datos o software que dependa del aprendizaje automático en contextos de recursos humanos. Ejemplos de herramientas de IA que podrían estar en el ámbito incluyen plataformas de selección de personal automatizadas y sistemas de emparejamiento de candidatos, así como herramientas diseñadas para encuestas de compromiso de empleados, evaluaciones de desempeño y desarrollo de talento. Las organizaciones pueden trabajar con sus líderes de gobernanza de IA para establecer un procedimiento confiable para actualizar este inventario cada vez que se introduzcan nuevas herramientas de IA, de modo que el mapa de IA permanezca actualizado y responda a las necesidades.
3. Identificación de las Leyes y Regulaciones Relevantes para la Auditoría
En ausencia de una única ley nacional integral de IA en los Estados Unidos, las organizaciones pueden querer mantenerse al tanto de un mosaico en rápida evolución de regulaciones federales, estatales, locales e internacionales. Algunos estados de EE. UU. ya han implementado marcos legales relacionados con la IA, incluyendo disposiciones extraídas de la Ley de IA de la Unión Europea, que se centra en sistemas de IA de alto riesgo y la mitigación de la discriminación algorítmica. Por ejemplo, la Ley Local 144 de la Ciudad de Nueva York requiere auditorías de sesgos para herramientas de decisiones automatizadas de empleo, mientras que la Casa Bill 3773 de Illinois exige requisitos específicos de divulgación para el uso de IA en la contratación. Otros estados, como Texas, están desarrollando leyes de IA que son únicas para el estado y se centran en regular un conjunto limitado de usos de herramientas de IA mientras toman medidas para fomentar el desarrollo responsable de tecnologías de IA. Y aún más estados, como Connecticut, están enmendando sus leyes de privacidad del consumidor para regular la IA. Mientras que el panorama es complejo y siempre cambiante, monitorear estos diversos desarrollos legales para que las empresas comprendan los marcos regulatorios para evaluar su uso de herramientas de IA, y para los cuales pueden querer ajustar posteriormente sus procesos de IA, es un paso importante de cumplimiento.
Antes de profundizar en un análisis de cumplimiento detallado, las empresas pueden optar por categorizar las herramientas de IA por nivel de riesgo basado en su impacto potencial en decisiones de empleo, sensibilidad de datos y exposición regulatoria. Las herramientas de alto riesgo, como aquellas utilizadas para la contratación, evaluación de desempeño o acciones disciplinarias, generalmente requieren una revisión inmediata y exhaustiva. Las herramientas de riesgo medio, como las plataformas de compromiso de empleados, pueden requerir una evaluación estándar, mientras que las herramientas de menor riesgo, como los asistentes de programación básicos, pueden requerir una revisión más ligera. Sin embargo, los niveles de riesgo no son necesariamente específicos del tema; el nivel de riesgo de ciberseguridad puede depender del tipo de información que se esté procesando (es decir, el nivel de sensibilidad) en lugar del propósito. Por ejemplo, una herramienta de programación que procesa información personal altamente sensible o datos comerciales confidenciales puede requerir una revisión de mayor prioridad que una plataforma de compromiso de empleados que solo maneja datos agregados y anonimizados. Esta priorización ayuda a asignar recursos de auditoría de manera efectiva y garantiza que las áreas críticas de cumplimiento reciban la atención adecuada.
4. Evaluación de Sesgos Potenciales
Aun cuando las herramientas de IA se utilizan con las mejores intenciones, el sesgo puede surgir de desequilibrios en los datos históricos, métodos de entrenamiento defectuosos u otros problemas de diseño subyacentes. Después de completar un inventario de uso de IA, identificar los requisitos legales y regulatorios aplicables al uso de tecnologías de IA de la organización y evaluar el cumplimiento con los mismos, las organizaciones pueden querer que un revisor calificado o un equipo de revisores realice una evaluación de sesgos detallada de cada herramienta de IA. Los métodos para detectar y mitigar sesgos involucran tanto revisiones técnicas como entrevistas con partes interesadas clave, y típicamente incluyen una evaluación de cuán representativos son los conjuntos de datos de entrenamiento subyacentes, cómo puede diferir el rendimiento de la herramienta entre grupos demográficos y si hay algún impacto adverso no intencionado en grupos protegidos. Siempre que sea posible, las organizaciones pueden querer utilizar técnicas avanzadas de des-biasing, un reentrenamiento exhaustivo del modelo y una supervisión humana adecuada para corregir sesgos observados o potenciales.
5. Mantenimiento de la Transparencia y Documentación Adecuada
Las organizaciones que utilizan herramientas de IA generativa desarrolladas internamente pueden querer mantener en mente la necesidad de transparencia sobre cómo se desarrollan, entrenan e implementan las herramientas de IA. Esto es vital desde una perspectiva de cumplimiento y política. En la práctica, esto significa documentar las fuentes de datos utilizadas para entrenar las herramientas, capturar los parámetros de los modelos de IA y registrar cualquier intervención realizada para abordar sesgos o mejorar la precisión. Del mismo modo, si una organización depende de tecnologías de IA provenientes de proveedores de terceros, es probable que su proceso de diligencia debida de proveedores incluya obtener estos tipos de documentos de los proveedores, que la organización puede desear conservar al igual que la documentación de herramientas de IA propietarias. Esta documentación interna ofrece claridad a las partes interesadas relevantes, apoya la actividad de auditoría y sirve como un recurso valioso—y a menudo requerido por la ley—si los reguladores externos indagan sobre el uso de IA de la organización.
6. Revisión de Contratos de Proveedores
Las organizaciones que emplean soluciones de IA de terceros pueden querer examinar cuidadosamente los contratos de proveedores. Los factores clave a considerar incluyen disposiciones que aborden cuestiones clave como responsabilidad por reclamaciones de sesgo, indemnización en caso de violaciones regulatorias y cumplimiento de normas de privacidad y seguridad de datos. Involucrar a abogados internos o expertos legales externos en este proceso de revisión de contratos a menudo ayuda a garantizar que los intereses de la empresa estén adecuadamente protegidos.
7. Actualización de Políticas Internas de Uso y Gobernanza de IA
Las organizaciones pueden desear implementar o refinar una política interna de uso de IA que se aplique en toda la organización. Tales políticas típicamente identifican las herramientas de IA aprobadas por la empresa, describen los usos aceptables e incluyen consideraciones de ciberseguridad y privacidad de datos, obligaciones de cumplimiento, procedimientos de supervisión y pautas éticas. Asimismo, las organizaciones pueden querer revisar sus políticas de gobernanza de IA como parte del proceso de auditoría, con un enfoque en la clara delimitación de la propiedad de la gobernanza y supervisión de IA en la empresa, estándares para la implementación, monitoreo y seguridad de las tecnologías de IA, y declaraciones claras sobre el desarrollo responsable de IA y la mitigación de daños. Promover un conocimiento consistente de estos principios de gobernanza contribuye a una cultura compartida de rendición de cuentas en el uso de IA.
8. Evaluación e Implementación de Capacitación sobre el Uso de IA
Las organizaciones pueden desear confirmar que los empleados que manejan o dependen de herramientas de IA reciban capacitación apropiada para su rol antes de interactuar con estas tecnologías. Los módulos de capacitación podrían enfatizar la ética de datos, riesgos y consideraciones de privacidad, y el uso responsable. Las personas más involucradas en los procesos de IA, como los tomadores de decisiones de recursos humanos o los desarrolladores de TI, pueden requerir instrucción avanzada sobre el reconocimiento de sesgos (como la prueba de impacto dispar), casos de uso apropiados y procedimientos para informar preocupaciones o errores, y mantener el cumplimiento con las leyes aplicables, como requisitos de aviso, apelación y documentación.
9. Asegurando la Privacidad y Seguridad de Datos
Dado los datos a menudo sensibles que procesan los sistemas impulsados por IA, las organizaciones pueden querer instituir fuertes protecciones de datos en cada etapa del ciclo de vida de la IA. Esto incluye restringir el acceso a información personal sensible, encriptar datos donde sea apropiado y prevenir la divulgación inadvertida de información comercial propietaria e información personal individual. Los auditores también pueden querer confirmar que los proveedores y socios cumplan con normas equivalentes o más estrictas en la protección de los datos de la organización.
10. Proporcionando Divulgaciones y Notificaciones
Finalmente, las organizaciones pueden desear asegurarse de que las partes interesadas relevantes, ya sean empleados o solicitantes, reciban divulgaciones apropiadas sobre el uso de IA. Cuando la IA juega un papel material en la selección de candidatos, toma de decisiones de recursos humanos o influye en los resultados laborales, divulgar ese hecho puede ayudar a construir confianza y prevenir alegaciones de injusticia oculta. Las organizaciones también pueden querer confirmar, cuando sea aplicable, que los empleados reciban información significativa sobre cómo las herramientas automatizadas pueden afectar su empleo, evaluaciones de desempeño u otros aspectos de su experiencia laboral, así como instrucciones sobre cómo pueden ejercer sus derechos como sujetos de datos (si los hubiere) con respecto a su información personal que es procesada utilizando IA.
11. Estableciendo Monitoreo Continuo y Métricas
Más allá de la auditoría inicial, el monitoreo continuo de procesos y resultados es crucial para rastrear el rendimiento y cumplimiento de la IA. Los indicadores clave de rendimiento típicamente incluyen métricas de sesgos a través de grupos demográficos, tasas de precisión, puntajes de satisfacción del usuario e informes de incidentes de cumplimiento. Los mecanismos de retroalimentación para que los empleados informen preocupaciones relacionadas con la IA, respaldados por procedimientos claros para investigar y abordar cualquier problema planteado en estos informes, pueden ser una herramienta importante de control de calidad.
Al seguir este marco integral para auditar herramientas de IA, las organizaciones pueden reducir significativamente el riesgo de problemas legales, preservar la seguridad e integridad de los datos y aumentar la confianza en sus iniciativas impulsadas por IA. Con una preparación cuidadosa y colaboración multifuncional, los equipos de recursos humanos y los abogados internos pueden dar forma a un entorno de IA conforme, justo y orientado hacia el futuro.
