El Equilibrio Humano-IA: Equidad y Supervisión en Decisiones de Alto Riesgo

Contextualizar los hallazgos sobre el uso de la IA en escenarios de préstamos y contratación.

Los hallazgos de este estudio sobre el impacto de la IA en la discriminación en préstamos y contratación deben entenderse dentro del panorama político más amplio. La Ley de IA de la UE, por ejemplo, exige un uso responsable de la IA mediante la supervisión humana y enfatiza la no discriminación. El artículo 10 obliga a los proveedores de sistemas de IA a implementar una gobernanza de datos sólida, examinando los conjuntos de datos en busca de sesgos y adoptando medidas de mitigación. Esta relevancia política informa la exploración de nuestro estudio sobre la supervisión humana en la toma de decisiones de la IA, subrayando la necesidad de una monitorización continua, una revisión posterior a la implementación y la capacidad de anular las decisiones de la IA. El examen del estudio sobre los efectos de la IA, particularmente en lo que respecta al sesgo y la discriminación, son aportes vitales para los objetivos de identificación y mitigación de sesgos de la Ley de IA.

Además, la investigación aquí presentada revela que los sistemas de decisión apoyados por IA combinados con la supervisión humana pueden tanto perpetuar como mitigar los sesgos, un matiz con un contexto significativo dentro de consideraciones éticas más amplias sobre el despliegue de IA de alto riesgo. Las políticas actuales a menudo se basan en el supuesto de que la supervisión humana rectificará las deficiencias de la IA, lo que este estudio cuestiona al demostrar que los sesgos humanos pueden perdurar o incluso amplificarse al interactuar con las recomendaciones de la IA, incluso las «justas». Desde esta perspectiva, las intervenciones regulatorias y los instrumentos de política actuales deben ser reevaluados críticamente para incorporar los posibles sesgos que la supervisión humana puede introducir. Las respuestas políticas también deben ser proactivas, considerando mecanismos de retroalimentación, herramientas mejoradas de detección de sesgos más allá de las pruebas de IA y marcos colaborativos efectivos entre humanos e IA para complementar el aporte humano en lugar de simplemente reemplazarlo o imitarlo.

Implicaciones prácticas y consideraciones futuras

Las implicaciones en el mundo real de estos hallazgos se extienden más allá de los mandatos políticos a consideraciones del diseño ético de la IA. Intervenciones como las revisiones de normas organizativas, las justificaciones transparentes de las anulaciones y la monitorización continua de los resultados son cruciales. Los responsables de la toma de decisiones necesitan acceso a información sobre su rendimiento y sesgos, junto con las herramientas para explicar sus anulaciones, lo que promueve un ecosistema proactivo de controles mutuos. Esta estrategia holística tiene como objetivo optimizar la colaboración entre la IA y los humanos para que las decisiones cumplan siempre los objetivos organizativos y las consideraciones éticas, incluidas las protecciones sólidas contra las prácticas discriminatorias. Al enmarcar la supervisión dentro de escenarios realistas y fomentar una perspectiva sistémica, los futuros entornos de prueba regulatorios para la IA pueden explorar la gobernanza de los datos, establecer las mejores prácticas y promover la confianza pública en los sistemas utilizados para préstamos y contratación.

¿Cuáles son las preguntas clave de la investigación?

Esta investigación busca comprender el intrincado equilibrio entre la confianza y el control en la supervisión humana de la toma de decisiones con IA. A medida que los sistemas de IA se vuelven más frecuentes, particularmente en áreas de alto riesgo como los préstamos y la contratación, es crucial determinar el nivel apropiado de dependencia de estos sistemas. Las preguntas clave giran en torno a la identificación de escenarios de «exceso de confianza», donde los usuarios aceptan incuestionablemente las recomendaciones de la IA incluso cuando son defectuosas, y la «falta de confianza», donde los usuarios descartan los consejos válidos de la IA en favor de su propio juicio. El objetivo general es determinar cómo estos comportamientos de dependencia impactan en la equidad de la toma de decisiones asistida por IA y para derivar conocimientos para diseñar mecanismos de supervisión efectivos.

Una pregunta central de la investigación es si proporcionar una IA teóricamente imparcial se traduce en decisiones menos sesgadas por parte de los usuarios. Esto explora si los usuarios confían y utilizan adecuadamente las IA justas. A la inversa, el estudio pregunta si los usuarios mantienen su capacidad y voluntad de comprender y cuestionar la IA, incluso cuando es teóricamente imparcial. Esto investiga el potencial de «aversión a los algoritmos», donde los usuarios rechazan las decisiones algorítmicas en favor de sus propias perspectivas, potencialmente sesgadas. La investigación tiene como objetivo determinar si la anulación sesgada durante la supervisión ex post podría negar los beneficios de los esfuerzos ex ante para garantizar la equidad de la IA, y a la inversa, si la supervisión ex post puede mitigar el impacto de las fallas en la supervisión ex ante.

En última instancia, el estudio busca determinar cómo las preferencias del usuario impactan en sus decisiones de seguir o rechazar los consejos de la IA, y si las recomendaciones de la IA pueden amplificar el impacto de las tendencias discriminatorias. En esencia, pregunta si el soporte de la IA puede exacerbar o perpetuar la discriminación, incluso cuando la IA misma está diseñada para ser justa. Al explorar estas preguntas, la investigación tiene como objetivo proporcionar información sobre el diseño de sistemas de supervisión humana que minimicen los resultados discriminatorios y maximicen los beneficios de la complementariedad humano-IA en contextos sensibles de toma de decisiones.

¿Cuál es la metodología empleada en esta investigación?

Esta investigación adopta un enfoque de métodos mixtos, empleando un diseño explicativo secuencial. Este diseño implica una fase inicial de recopilación y análisis de datos cuantitativos, seguida de una fase posterior de recopilación y análisis de datos cualitativos, con la fase cualitativa que sirve para explicar y elaborar sobre los resultados cuantitativos. El componente cuantitativo consiste en un experimento conductual realizado en línea, simulando relaciones empleador-empleado y prestamista-prestatario con profesionales de recursos humanos y banca en Italia y Alemania (N=1411). Los participantes tomaron decisiones sobre solicitantes hipotéticos, con incentivos vinculados al desempeño de sus candidatos elegidos, imitando las evaluaciones profesionales del mundo real.

Después del experimento cuantitativo, se llevó a cabo una fase cualitativa, que comprendía entrevistas semiestructuradas y talleres en línea en grupos pequeños con un subconjunto de participantes del estudio y un taller de codiseño con expertos y responsables políticos. Las entrevistas buscaron explorar las experiencias de los participantes con la IA en sus contextos profesionales, sus procesos de toma de decisiones y sus percepciones de justicia e imparcialidad. Los talleres sirvieron para explorar aún más la validez ecológica del estudio, recopilando comentarios sobre cómo las características seleccionadas de los candidatos y la configuración experimental se relacionaban con situaciones de la vida real, y para generar nuevas ideas sobre cómo mitigar los sesgos humanos y algorítmicos. Esta triangulación de datos cuantitativos y cualitativos proporciona una comprensión integral y matizada del impacto de la supervisión humana en la toma de decisiones asistida por IA.

Para enriquecer el análisis y obtener conocimientos prácticos, se incorporaron métodos de diseño participativo. Un taller de codiseño reunió a expertos de diversas disciplinas para idear la mitigación de los sesgos humanos y algorítmicos en la toma de decisiones respaldada por IA. Los expertos discutieron temas que incluyen la definición de equidad algorítmica y humana, la traducción de la equidad en reglas prácticas, los requisitos reglamentarios para la supervisión y el fomento de la conciencia entre los usuarios y los desarrolladores. Este compromiso diverso permitió la formulación de recomendaciones de políticas basadas en la realidad y prioridades de investigación orientadas al futuro que se derivan de este estudio a gran escala sobre la forma adecuada de implementar sistemas de supervisión humana para evitar resultados discriminatorios. Finalmente, se invitó a los responsables políticos a reflexionar sobre los hallazgos y discutir las implementaciones de políticas.

¿Cuáles son los principales hallazgos del experimento cuantitativo?

El experimento cuantitativo, un estudio conductual a gran escala que involucró a profesionales de recursos humanos y banca en Italia y Alemania (N=1411), arrojó varios hallazgos notables con respecto al impacto de la supervisión humana en la discriminación en los sistemas de apoyo a la toma de decisiones basados en IA. Un resultado central fue que los supervisores humanos eran igualmente propensos a respaldar las recomendaciones discriminatorias de una IA genérica como a seguir las sugerencias de una IA específicamente programada para la equidad. Esto ilustra claramente que la supervisión humana, en su implementación actual, no previene inherentemente la discriminación cuando se utiliza una IA genérica potencialmente sesgada como parte del proceso de toma de decisiones. Además, el estudio descubrió que cuando se empleaba una IA «justa», las elecciones realizadas por los participantes exhibían menos sesgo de género. Sin embargo, esto no eliminó por completo la discriminación, ya que las elecciones siguieron estando influenciadas por los sesgos individuales que tenían los propios participantes, lo que demuestra la persistencia de los sesgos humanos a pesar de la presencia de un apoyo algorítmico aparentemente imparcial.

Específicamente, se observó que la IA genérica, optimizada para la precisión y que exhibía tendencias a favorecer a los hombres y a los solicitantes alemanes, ejercía influencia, lo que conducía a decisiones discriminatorias contra las mujeres y los solicitantes italianos. Por el contrario, la IA «justa», diseñada para minimizar el sesgo, pareció mitigar la discriminación contra los hombres, pero no negó por completo las actitudes prejuiciosas existentes. Esto sugiere que, si bien la IA justa puede impulsar las decisiones hacia resultados menos discriminatorios, no puede erradicar por completo los sesgos humanos profundamente arraigados. En particular, el experimento también disipó algunas preocupaciones, demostrando que la mera presencia de IA, incluso cuando está programada para la equidad, no aumentaba necesariamente el impacto de las tendencias discriminatorias. El estudio encontró que las preferencias individuales no tenían una mayor influencia en las elecciones cuando había soporte de IA.

Hallazgos adicionales

Más allá de los aspectos principales del sesgo, el experimento también evaluó el rendimiento de los tomadores de decisiones con y sin soporte de IA. Curiosamente, el acceso a las recomendaciones de la IA, ya sea de una IA justa o genérica, no mejoró demostrablemente la calidad de las decisiones humanas en términos de los objetivos previstos. Sin embargo, el experimento sí demostró que seguir las recomendaciones de la IA habría hecho ganar al tomador de decisiones más puntos en comparación con las decisiones que se basan enteramente en la intuición humana sin ayuda.

¿Cuáles son los principales temas que emergen de los estudios cualitativos post-experimentales?

Los estudios cualitativos post-experimentales, que comprenden entrevistas individuales y talleres colaborativos tanto con los participantes del estudio como con expertos en ética de la IA, profundizaron en varios temas clave relacionados con la supervisión humana en la toma de decisiones asistida por IA. Un tema destacado fue la influencia a menudo no reconocida de las normas organizacionales y los intereses organizacionales percibidos en la toma de decisiones. Los participantes expresaron con frecuencia que priorizaban las estrategias y los objetivos de la empresa, incluso cuando esas prioridades entraban en conflicto con las consideraciones de equidad individuales o las recomendaciones de una IA «justa». Esto sugiere la necesidad de intervenciones dirigidas a la cultura organizacional y que proporcionen una guía más clara sobre cuándo y cómo anular las recomendaciones de la IA en favor de los principios éticos. Los datos cualitativos también iluminaron una tensión entre las aspiraciones de los participantes hacia la eficiencia impulsada por la IA y sus vacilaciones prácticas sobre la renuncia a las evaluaciones de cualidades «blandas» a los algoritmos, especialmente en lo que respecta a los atributos matizados identificados durante las entrevistas.

Ligado a la influencia organizacional estaba el tema recurrente de los *factores contextuales*, que los participantes identificaron como un papel sustancial en su interacción con la IA y su confianza en las recomendaciones de la IA. Esto resaltó las limitaciones de la visión simplificada y descontextualizada de los candidatos del escenario experimental. Los participantes enfatizaron su necesidad de una comprensión holística de las circunstancias y motivaciones de un candidato, cualidades que creían que la IA no podía capturar adecuadamente. El deseo de *explicabilidad y justificación* también surgió como una característica definitoria de la supervisión humana efectiva. Los participantes necesitaban comprender el razonamiento detrás de las recomendaciones de la IA no solo para reforzar su propio juicio y experiencia, sino también para garantizar la transparencia y la rendición de cuentas hacia los candidatos. Algunos participantes incluso expresaron cierta renuencia a adoptar ciertos sistemas de IA porque la forma en que se tomaban las decisiones no era transparente. Los resultados combinados del estudio sugieren la importancia de un enfoque centrado en el ser humano para la implementación de la IA, donde la tecnología sirva como una herramienta para facilitar la interpretación y la evaluación humanas en lugar de simplemente automatizar la toma de decisiones.

Finalmente, un tema recurrente fue el papel fundamental de la retroalimentación de los resultados y el monitoreo continuo en el perfeccionamiento tanto de los sistemas de IA como de los procesos de toma de decisiones humanas. Los participantes del estudio expresaron la necesidad de mecanismos de retroalimentación que les permitieran evaluar la precisión y la equidad de las decisiones asistidas por IA a lo largo del tiempo. Un deseo recurrente tanto para el profesional en el campo como para los expertos en equidad en la IA que fueron consultados, fue la accesibilidad de un «sistema de prueba y auditoría» que sea accesible para todas las partes y donde se puedan obtener nuevos aprendizajes de los sistemas y el proceso de toma de decisiones. Dichos sistemas que «proporcionan una cuenta clara» de lo que se ha visto y cómo permitirán que todos participen de una manera más justa al construir ese «compromiso comunitario» que además ayudará creando procesos para mejorar el resultado a largo plazo del sistema que se está utilizando. Este enfoque en el aprendizaje continuo destaca la necesidad de sistemas de supervisión de la IA que puedan adaptarse a los contextos sociales cambiantes y facilitar el perfeccionamiento colaborativo mediante la incorporación de juicios humanos. Los expertos propusieron intervenciones a nivel de capacitación y operativo del desarrollo de la IA, para considerar datos más matizados y contextuales sobre conjuntos de datos más genéricos y potencialmente sesgados o discriminatorios.

¿Cómo informan los resultados de las entrevistas individuales a las preguntas de investigación?

Las entrevistas individuales proporcionaron información valiosa sobre las prioridades y sesgos que los profesionales consideran al tomar decisiones, tanto en relación con la equidad como con las consideraciones pragmáticas. Una conclusión clave fue la constatación de que los participantes a menudo contextualizaban sus decisiones basándose en su experiencia personal y en los objetivos estratégicos de sus empresas. Algunos admitieron aceptar recomendaciones discriminatorias de los sistemas de IA si estaban alineadas con los objetivos de la organización, lo que pone de relieve la tensión entre los principios éticos y las exigencias prácticas. Además, los participantes expresaron una preferencia por el apoyo a la toma de decisiones por parte de la IA cuando las tareas eran menos complejas, como el procesamiento de datos, y mostraron reticencias a la hora de juzgar las características humanas más matizadas. Se hizo hincapié en la necesidad de explicabilidad y transparencia, ya que los participantes solicitaron información sobre el razonamiento de la IA para sentirse seguros en cuanto a la equidad.

Las entrevistas arrojaron luz sobre los factores que impulsan la voluntad de los profesionales de utilizar el apoyo de la IA, abordando en última instancia una pregunta clave de la investigación. La apertura de los participantes a las decisiones asistidas por la IA dependía de varios factores, entre ellos la complejidad percibida de la tarea, los riesgos potenciales de confiar en la IA y su capacidad para justificar y explicar las recomendaciones de la IA. Las entrevistas también revelaron puntos de vista matizados sobre la utilidad de la IA, ya que algunos participantes la consideraban una herramienta indispensable para el trabajo y la eficiencia. Por el contrario, se explicó que muchas herramientas de IA son demasiado inmaduras para algunas responsabilidades, y este punto de vista se destacó al explicar la capacidad de las herramientas de IA para evaluar las cualidades humanas e interrelacionar la importancia de varias cualidades al tomar decisiones informadas.

En última instancia, los resultados de las entrevistas individuales sugirieron firmemente la necesidad de evaluar y abordar los sesgos que no están contenidos únicamente en el sistema de IA. El enfoque también debe centrarse en los procesos y sesgos externos que existen en otros miembros del proceso de toma de decisiones, incluidos los sociales, humanos o institucionales. Esto informó sobre qué tipos de datos debían recogerse en los grupos de discusión y qué temas requerían una evaluación más detallada por parte de equipos externos que trabajaran en el desarrollo ético y equitativo de la IA, como el taller interdisciplinario sobre justicia en la IA. Los conocimientos obtenidos de las entrevistas individuales permitieron a los investigadores desplazar su atención fuera de la caja negra de la IA, y comprender que una mayor comprensión y reflexión humana influiría en un apoyo a la toma de decisiones ético y equitativo.

¿Qué perspectivas y conclusiones se establecieron en el taller de expertos?

El taller de expertos convocó a un grupo multidisciplinario para abordar los sesgos en la toma de decisiones humanas con apoyo de la IA, centrándose en escenarios como la contratación y los préstamos. Fundamentalmente, el taller identificó que la definición de equidad es un proceso dinámico que requiere práctica y ejercicio continuos, más que un concepto estático. Esta perspectiva subrayó la necesidad de integrar la equidad en todo el ciclo de vida del desarrollo del sistema de IA, desde la recopilación inicial de datos hasta la implementación continua. Los expertos enfatizaron la importancia de considerar la equidad de manera dinámica e iterativa en relación con los resultados del mundo real, incluso después de que una persona en la supervisión humana esté «en el bucle». Las discusiones cuestionaron la eficacia de excluir únicamente las características protegidas de los conjuntos de datos para garantizar la equidad, y los expertos señalaron que esto, por sí solo, no lo garantizará. Esto se debe a que aislar las características para el análisis también podría conducir a malas interpretaciones o a la pérdida completa del contexto.

El taller exploró además la operacionalización de la equidad en la colaboración humano-IA, destacando la transparencia mutua como un principio central. Los expertos propusieron mecanismos para el control estandarizado y los bucles de retroalimentación para promover la supervisión ética y regulatoria. Los expertos previeron un futuro en el que la IA podría incorporarse como parte de bucles de aprendizaje dinámicos, o incluso contribuir positivamente a un modelo híbrido humano e IA en el lugar de trabajo o en el entorno de los préstamos. El proceso podría involucrar a un equipo que realice pruebas y las itere. Por ejemplo, la IA podría formar parte de un equipo que examine tanto los aspectos técnicos como los sociales del proyecto y pueda identificar cualquier problema. Los expertos también presionaron para que se proporcionara un análisis significativo y transparencia a los candidatos que se presentan ante un humano en la supervisión, así como al proceso detrás de las decisiones de supervisión humana. Más específicamente, un tema clave que se planteó constantemente fue la importancia de fomentar la «alfabetización en ética de la IA» tanto entre los diseñadores como entre los usuarios para garantizar un desarrollo responsable del sistema de IA.

Los expertos destacaron la importancia de la participación de la comunidad y la responsabilidad compartida en el gobierno de la IA, abogando por formas colectivas de supervisión humana. Las discusiones enfatizaron la priorización de las necesidades de la comunidad por encima de las capacidades puramente técnicas, construyendo nuevos imaginarios para apoyar mejor y vincular más estrechamente las necesidades tecnológicas y de la comunidad. Desde una perspectiva política, los expertos instaron a la UE a priorizar los valores y la ética en el desarrollo de la IA e invertir en la creación de confianza en torno a la tecnología, ayudando en última instancia a garantizar que la IA se alinee con los objetivos estratégicos generales. Los participantes del taller también señalaron que el papel de la retroalimentación de las decisiones a nivel de usuario final y las decisiones y sugerencias dirigidas por la IA en un ecosistema más amplio también puede ayudar a los investigadores y desarrolladores a comprender los problemas complejos a nivel de sistema.

¿Cuáles son los principales puntos de discusión y las recomendaciones de política derivadas de la integración de los resultados de la investigación?

La integración de los resultados de experimentos cuantitativos y entrevistas cualitativas, combinada con talleres de expertos y responsables de la formulación de políticas, destaca varios puntos de discusión cruciales e informa recomendaciones de política específicas con respecto a la supervisión humana de la toma de decisiones apoyada por la IA. Un tema clave general es la necesidad de ir más allá de una visión simplista de la supervisión humana como un mecanismo correctivo automático para el sesgo de la IA. La investigación subraya que los sesgos humanos y las normas organizativas pueden influir significativamente e incluso exacerbar los resultados discriminatorios dentro de los sistemas asistidos por la IA. Los puntos de discusión se centran en las complejidades de equilibrar la eficiencia algorítmica con consideraciones éticas, particularmente con respecto a la equidad y la transparencia en procesos de toma de decisiones a menudo opacos. El estudio también revela la importancia del contexto y las limitaciones de un enfoque único para la supervisión de la IA, enfatizando la necesidad de incorporar diversas perspectivas y abordar posibles problemas sistémicos junto con aspectos técnicos.

Sobre la base de estos puntos de discusión, surgen varias recomendaciones de política para mejorar la eficacia de la supervisión humana. Existe la necesidad no solo de mitigar los sesgos de la IA, sino también de implementar mecanismos sólidos para monitorear y revisar las decisiones humanas que anulan las recomendaciones de la IA. Esto requeriría inversión en herramientas de detección de sesgo y programas de capacitación para aumentar la conciencia y el conocimiento de los sesgos en la toma de decisiones humanas. La transparencia debe ser un elemento clave, que permita a las partes interesadas obtener información sobre cómo se toman las decisiones finales. Además, los marcos de gobernanza de la IA deberían considerar la inclusión de circuitos de retroalimentación continuos que permitan a los tomadores de decisiones ajustar los algoritmos de la IA basándose en el rendimiento del mundo real, al tiempo que se adhieren a las directrices éticas. Estas recomendaciones tienen como objetivo colectivo crear un sistema de supervisión de la IA más holístico, consciente del contexto y adaptable que promueva la equidad.

Información práctica para la regulación

Para que las políticas sean más efectivas, es importante observar cómo los sesgos humanos y la cultura organizacional podrían afectar la equidad de los sistemas de IA. Los responsables de la formulación de políticas deberían considerar regulaciones y directrices que impulsen a las organizaciones a verificar su cultura y normas, y a tomar medidas que garanticen que los sistemas de IA y sus supervisores humanos no refuercen las desigualdades existentes. Además, las políticas deberían alentar a los desarrolladores de IA a proporcionar herramientas que permitan la transparencia y justifiquen las explicaciones de la toma de decisiones de la IA a las personas afectadas, así como proporcionar contexto con respecto a los datos y la toma de decisiones del sistema de IA. Debería ser posible crear políticas que fomenten la innovación y, al mismo tiempo, cuenten con salvaguardias para garantizar que los sistemas de IA apoyen la equidad y protejan los derechos individuales.