Ética en la automatización: Abordando el sesgo y el cumplimiento en la IA
A medida que las empresas dependen más de los sistemas automatizados, la ética se ha convertido en una preocupación clave. Los algoritmos cada vez más configuran decisiones que antes eran tomadas por personas, y estos sistemas tienen un impacto en empleos, créditos, atención médica y resultados legales. Ese poder exige responsabilidad. Sin reglas claras y estándares éticos, la automatización puede reforzar la injusticia y causar daño.
Ignorar la ética afecta a personas reales de maneras reales, no solo cambiando los grados de confianza pública. Los sistemas sesgados pueden denegar préstamos, empleos o atención médica, y la automatización puede aumentar la velocidad de malas decisiones si no hay barandillas en su lugar. Cuando los sistemas toman la decisión incorrecta, a menudo es difícil apelar o incluso entender por qué, y la falta de transparencia convierte pequeños errores en problemas más grandes.
Entendiendo el sesgo en los sistemas de IA
El sesgo en la automatización a menudo proviene de los datos. Si los datos históricos incluyen discriminación, los sistemas entrenados en ellos pueden repetir esos patrones. Por ejemplo, una herramienta de IA utilizada para filtrar candidatos a un empleo podría rechazar a solicitantes basándose en género, raza o edad si sus datos de entrenamiento reflejan esos sesgos pasados. El sesgo también entra a través del diseño, donde las elecciones sobre qué medir, qué resultados favorecer y cómo etiquetar los datos pueden crear resultados sesgados.
Existen muchos tipos de sesgo. El sesgo de muestreo ocurre cuando un conjunto de datos no representa a todos los grupos, mientras que el sesgo de etiquetado puede provenir de la entrada humana subjetiva. Incluso decisiones técnicas como los objetivos de optimización o el tipo de algoritmo pueden sesgar los resultados.
Los problemas no son solo teóricos. Amazon desechó su uso de una herramienta de reclutamiento en 2018 después de que favoreciera a candidatos masculinos, y algunos sistemas de reconocimiento facial han sido encontrados para identificar erróneamente a personas de color a tasas más altas que a los caucásicos. Tales problemas dañan la confianza y plantean preocupaciones legales y sociales.
Otra preocupación real es el sesgo proxy. Incluso cuando características protegidas como la raza no se utilizan directamente, otras características como el código postal o el nivel educativo pueden actuar como sustitutos, lo que significa que el sistema aún puede discriminar incluso si la entrada parece neutral, por ejemplo, en función de áreas más ricas o más pobres. El sesgo proxy es difícil de detectar sin pruebas cuidadosas. El aumento en los incidentes de sesgo en IA es una señal de que se necesita más atención en el diseño del sistema.
Cumpliendo con los estándares que importan
Las leyes están alcanzando a la tecnología. La Ley de IA de la UE, aprobada en 2024, clasifica los sistemas de IA por riesgo. Los sistemas de alto riesgo, como los utilizados en la contratación o la puntuación de crédito, deben cumplir con requisitos estrictos, incluyendo transparencia, supervisión humana y verificaciones de sesgo. En EE. UU., no hay una sola ley de IA, pero los reguladores están activos. La Comisión para la Igualdad de Oportunidades en el Empleo (EEOC) advierte a los empleadores sobre los riesgos de las herramientas de contratación impulsadas por IA, y la Comisión Federal de Comercio (FTC) también ha señalado que los sistemas sesgados pueden violar las leyes de antidiscriminación.
La Casa Blanca ha emitido un Plano para una Ley de Derechos de IA, ofreciendo orientación sobre el uso seguro y ético. Aunque no es una ley, establece expectativas, cubriendo cinco áreas clave: sistemas seguros, protecciones contra la discriminación algorítmica, privacidad de datos, aviso y explicación, y alternativas humanas.
Las empresas también deben vigilar las leyes estatales de EE. UU. California ha tomado medidas para regular la toma de decisiones algorítmica, y Illinois requiere que las empresas informen a los solicitantes de empleo si se utiliza IA en entrevistas en video. No cumplir puede acarrear multas y demandas.
Los reguladores en la ciudad de Nueva York ahora exigen auditorías para los sistemas de IA utilizados en la contratación. Las auditorías deben demostrar si el sistema ofrece resultados justos en grupos de género y raza, y los empleadores también deben notificar a los solicitantes cuando se utiliza la automatización.
El cumplimiento es más que evitar sanciones; también se trata de establecer confianza. Las empresas que pueden demostrar que sus sistemas son justos y responsables son más propensas a ganar el apoyo de los usuarios y reguladores.
Cómo construir sistemas más justos
La ética en la automatización no ocurre por casualidad. Requiere planificación, las herramientas adecuadas y atención continua. El sesgo y la equidad deben integrarse en el proceso desde el principio, no añadirse posteriormente. Esto implica establecer objetivos, elegir los datos correctos e incluir las voces adecuadas en la mesa.
Hacer esto bien implica seguir algunas estrategias clave:
Realizando evaluaciones de sesgo
El primer paso para superar el sesgo es encontrarlo. Las evaluaciones de sesgo deben realizarse temprano y con frecuencia, desde el desarrollo hasta la implementación, para garantizar que los sistemas no produzcan resultados injustos. Las métricas pueden incluir tasas de error en grupos o decisiones que tienen un mayor impacto en un grupo que en otros.
Las auditorías de sesgo deben ser realizadas por terceros cuando sea posible. Las revisiones internas pueden pasar por alto problemas clave o carecer de independencia, y la transparencia en los procesos de auditoría objetivos construye confianza pública.
Implementando conjuntos de datos diversos
Los datos de entrenamiento diversos ayudan a reducir el sesgo al incluir muestras de todos los grupos de usuarios, especialmente aquellos a menudo excluidos. Un asistente de voz entrenado principalmente con voces masculinas funcionará mal para las mujeres, y un modelo de puntuación de crédito que carece de datos sobre usuarios de bajos ingresos puede juzgarlos incorrectamente.
La diversidad de datos también ayuda a los modelos a adaptarse al uso en el mundo real. Los usuarios provienen de diferentes contextos, y los sistemas deben reflejar eso. La variedad geográfica, cultural y lingüística importa.
La diversidad de datos no es suficiente por sí sola; también debe ser precisa y bien etiquetada. El principio de basura entra, basura sale sigue aplicándose, por lo que los equipos necesitan verificar errores y lagunas, y corregirlas.
Promoviendo la inclusividad en el diseño
El diseño inclusivo implica a las personas afectadas. Los desarrolladores deben consultar a los usuarios, especialmente aquellos en riesgo de daño (o aquellos que podrían, al usar IA sesgada, causar daño), ya que esto ayuda a descubrir puntos ciegos. Eso podría significar involucrar a grupos de defensa, expertos en derechos civiles o comunidades locales en las revisiones de productos. Significa escuchar antes de que los sistemas se implementen, no después de que lleguen las quejas.
El diseño inclusivo también significa equipos interdisciplinarios. Incluir voces de ética, derecho y ciencias sociales puede mejorar la toma de decisiones, ya que estos equipos son más propensos a hacer preguntas diferentes y detectar riesgos.
Los equipos también deben ser diversos. Las personas con diferentes experiencias de vida detectan diferentes problemas, y un sistema construido por un grupo homogéneo puede pasar por alto riesgos que otros podrían detectar.
Lo que las empresas están haciendo bien
Algunas empresas y agencias están tomando medidas para abordar el sesgo de IA y mejorar el cumplimiento.
Entre 2005 y 2019, la Administración Tributaria y de Aduanas de los Países Bajos acusó erróneamente a alrededor de 26,000 familias de reclamar fraudulentamente beneficios por cuidado infantil. Un algoritmo utilizado en el sistema de detección de fraude apuntó desproporcionadamente a familias con doble nacionalidad y bajos ingresos. La repercusión llevó a una protesta pública y a la renuncia del gobierno holandés en 2021.
LinkedIn ha enfrentado un escrutinio por el sesgo de género en sus algoritmos de recomendación de empleo. La investigación del MIT y otras fuentes encontraron que los hombres tenían más probabilidades de ser emparejados con roles de liderazgo mejor remunerados, en parte debido a patrones de comportamiento en la forma en que los usuarios solicitaban empleos. En respuesta, LinkedIn implementó un segundo sistema de IA para asegurar una piscina de candidatos más representativa.
Otro ejemplo es la ley de Herramientas de Decisión Automatizadas de Empleo de Nueva York, que entró en vigor el 1 de enero de 2023, con la aplicación comenzando el 5 de julio de 2023. La ley requiere que los empleadores y agencias de empleo que utilizan herramientas automatizadas para la contratación o promoción realicen una auditoría de sesgo independiente en un año de uso, divulguen públicamente un resumen de los resultados y notifiquen a los candidatos con al menos 10 días hábiles de anticipación, reglas que tienen como objetivo hacer que la contratación impulsada por IA sea más transparente y justa.
Aetna, un asegurador de salud, lanzó una revisión interna de sus algoritmos de aprobación de reclamos y encontró que algunos modelos llevaron a retrasos más largos para pacientes de bajos ingresos. La empresa cambió la forma en que se ponderaban los datos y agregó más supervisión para reducir esta brecha.
Los ejemplos muestran que el sesgo de IA puede ser abordado, pero requiere esfuerzo, objetivos claros y una fuerte responsabilidad.
Hacia dónde vamos desde aquí
La automatización ha llegado para quedarse, pero la confianza en los sistemas depende de la equidad de los resultados y reglas claras. El sesgo en los sistemas de IA puede causar daño y riesgo legal, y el cumplimiento no es un requisito a cumplir; es parte de hacer las cosas bien.
La automatización ética comienza con la conciencia. Requiere datos sólidos, pruebas regulares y diseño inclusivo. Las leyes pueden ayudar, pero el verdadero cambio también depende de la cultura y el liderazgo de la empresa.
