Entendiendo el Derecho a la Explicación y la Toma de Decisiones Automatizadas en el GDPR y la Ley de IA de Europa
Los sistemas de toma de decisiones automatizadas (ADM) se utilizan para reemplazar o apoyar la toma de decisiones humanas, dependiendo de cómo esté diseñado el sistema y para qué se utilice. El objetivo es mejorar la exactitud, eficiencia, consistencia y objetividad de decisiones que anteriormente eran tomadas solo por humanos. Ejemplos de esto incluyen sistemas de reclutamiento automatizados, sistemas de triaje en salud, moderación de contenido en línea y policía predictiva.
En democracias liberales, las personas se han acostumbrado a que decisiones importantes en áreas como la educación, los derechos de bienestar, el empleo, la salud y la justicia estén sujetas a procedimientos estandarizados y procesos de apelación que son abiertos a la scrutinio público. Esto refleja un entendimiento básico de que los tomadores de decisiones humanos no son infalibles ni siempre justos, pero que es posible limitar el impacto de los fallos humanos al establecer estándares contra los cuales se puede evaluar la equidad de decisiones significativas.
Normativas del GDPR y la Ley de IA
Las disposiciones relevantes en el Reglamento General de Protección de Datos (GDPR) y la Ley de IA de Europa están destinadas a salvaguardar la equidad sustantiva y procesal de las decisiones automatizadas. En términos generales, la equidad sustantiva involucra consideraciones como la justicia distributiva, la no discriminación, la proporcionalidad, la exactitud y la fiabilidad, mientras que la equidad procesal requiere, al menos, transparencia, debido proceso, consistencia, supervisión humana y el derecho a una explicación.
Ejemplos recientes de sistemas de IA que no cumplieron con estos requisitos incluyen sistemas de detección de fraude en el bienestar en Ámsterdam y el Reino Unido, familias erróneamente señaladas para investigaciones de abuso infantil en Japón, y residentes de bajos ingresos que fueron denegados subsidios alimentarios en el estado indio de Telangana.
Derechos del Usuario bajo el GDPR y la Ley de IA
Se han establecido provisiones para el derecho a proporcionar consentimiento explícito para ser sometido a decisiones automatizadas (GDPR art 22), ser informado sobre el uso de ADM (GDPR art 13, 14 y 15 y AIA art 26), intervención o supervisión humana (GDPR art 22 y AIA art 86), y el derecho a una explicación (GDPR art 13, 14 y 15 y AIA art 86).
En el GDPR, el derecho a la explicación se aplica a decisiones basadas únicamente en procesamiento automatizado que producen efectos legales o similares sobre una persona natural (art 22). El derecho a una explicación de tales decisiones se detalla en los Artículos 13-15, que requieren la provisión de «información significativa sobre la lógica involucrada, así como la importancia y las consecuencias previstas de dicho procesamiento».
Inteligencia Artificial Explicable (XAI)
El campo de la Inteligencia Artificial Explicable (XAI) se centra en garantizar que los resultados de los sistemas de IA, como las decisiones automatizadas, puedan ser explicados y comprendidos por las personas afectadas. Existen dos tipos amplios de métodos para lograr esto: intrínsecos y post-hoc.
Los métodos intrínsecos son posibles cuando el modelo de IA es lo suficientemente simple como para que la relación entre entradas y salidas sea interpretable. Por ejemplo, si se utiliza un modelo de árbol de decisión para la puntuación crediticia en solicitudes de préstamo, es posible trazar cada paso del razonamiento del modelo desde las entradas hasta la salida de si el solicitante es elegible para el préstamo solicitado.
En contraste, los métodos post-hoc se utilizan cuando el modelo es demasiado complejo para rastrear su ruta de razonamiento desde las entradas hasta las salidas. Debido a que los modelos de IA complejos no son interpretables, se emplean métodos como Shapley Values y LIME para proporcionar información sobre el razonamiento de un modelo sin tener acceso a su estructura interna, que permanece opaca.
Implicaciones para el GDPR y la Ley de IA
Las implicaciones de esto para el GDPR, la Ley de IA y otras regulaciones similares son que las disposiciones diseñadas para salvaguardar el ADM deben limitar las decisiones completamente automatizadas a modelos interpretables, cuyos resultados deben incluir una explicación clara de la decisión, y que las decisiones que afectan circunstancias donde la agencia humana es un factor no deben ser automatizadas. De lo contrario, muchas más personas serán injustamente señaladas o se les negará el acceso a bienes públicos sin el mismo tipo de salvaguardias que las democracias liberales han dependido anteriormente.
