¿Qué es la transparencia en la IA?
A medida que el uso de la inteligencia artificial (IA) se ha proliferado, la transparencia en torno a estos sistemas y sus resultados se ha vuelto crucial. Este estudio examina qué se entiende por transparencia en la IA y IA explicable, y describe cómo se pueden implementar.
Definición de la transparencia en la IA
La inteligencia artificial es un término amplio que describe sistemas algorítmicos programados para lograr objetivos definidos por humanos. Muchos de estos sistemas son conocidos como sistemas de «caja negra», donde los funcionamientos internos del modelo no son conocidos por el usuario o no son interpretables por los humanos. En tal caso, se puede decir que el modelo carece de transparencia.
La transparencia en la IA es un término paraguas que abarca conceptos como IA explicable (XAI) e interpretabilidad. En términos generales, comprende tres niveles:
- Explicabilidad de los componentes técnicos – cuán explicables son los mecanismos internos del algoritmo
- Gobernanza del sistema – si existen procesos y documentación adecuados de decisiones clave
- Transparencia del impacto – si las capacidades y el propósito de los algoritmos se comunican de manera abierta y clara a las partes interesadas relevantes
Explicabilidad de los componentes técnicos
La explicabilidad de los componentes técnicos del sistema se refiere a la capacidad de explicar lo que sucede dentro de un sistema de IA, y se basa en cuatro tipos de explicaciones: específicas del modelo, agnósticas, globales y locales.
- Explicabilidad específica del modelo – un modelo tiene explicabilidad integrada en su diseño y desarrollo
- Explicabilidad agnóstica al modelo – se aplica una técnica matemática a las salidas de cualquier algoritmo para proporcionar una interpretación de los impulsores de decisiones del modelo
- Explicabilidad a nivel global – comprensión del comportamiento del algoritmo a un alto nivel de conjunto de datos/poblacional, algo que normalmente hacen los investigadores y diseñadores del algoritmo
- Explicabilidad a nivel local – comprensión del comportamiento del algoritmo a un bajo nivel de subconjunto/individual, típicamente para aquellos que son objeto de un algoritmo
Gobernanza del sistema
El segundo nivel de transparencia, gobernanza, incluye el establecimiento e implementación de protocolos para documentar decisiones tomadas sobre un sistema desde las primeras etapas de desarrollo hasta su implementación, y para cualquier actualización realizada en el sistema.
La gobernanza también puede incluir establecer responsabilidad por los resultados de un sistema e incluir esto dentro de cualquier contrato o documentación relevante. Por ejemplo, los contratos deben especificar si la responsabilidad por cualquier daño o pérdida recae en el proveedor o vendedor de un sistema, la entidad que despliega un sistema, o los diseñadores y desarrolladores específicos del sistema. Esto no solo fomenta una mayor diligencia debida si una parte particular puede ser considerada responsable de un sistema, sino que también puede utilizarse para propósitos de seguro y para recuperar cualquier pérdida que resulte de la implementación o uso del sistema.
Aparte de la documentación y la responsabilidad, la gobernanza de un sistema también puede referirse a la regulación y legislación que rigen el uso del sistema y políticas internas dentro de las organizaciones en términos de creación, adquisición y uso de sistemas de IA.
Transparencia del impacto
El tercer nivel de transparencia se refiere a comunicar las capacidades y el propósito de un sistema de IA a las partes interesadas relevantes, tanto a aquellas que están directa como indirectamente afectadas. Las comunicaciones deben emitirse de manera oportuna y deben ser claras, precisas y conspicuas.
Para hacer más transparente el impacto de los sistemas, se debe comunicar información sobre el tipo de datos que utilizará el algoritmo y la fuente de los mismos a las personas afectadas. Las comunicaciones también deben indicar a los usuarios que están interactuando con un sistema de IA, qué forma toman los resultados del sistema y cómo se utilizarán dichos resultados. Especialmente cuando se encuentra que un sistema es sesgado hacia ciertos grupos, también se debe comunicar información sobre cómo se desempeña el sistema para categorías particulares y si ciertos grupos pueden experimentar resultados negativos si interactúan con el sistema.
¿Por qué necesitamos la transparencia en la IA?
Una de las principales motivaciones para la transparencia en la IA y la explicabilidad es que pueden construir confianza en los sistemas de IA, otorgando a los usuarios y otras partes interesadas una mayor confianza en que el sistema se está utilizando de manera adecuada. Conocer las decisiones que toma un sistema y cómo las toma también puede otorgar a los individuos más agencia sobre sus decisiones, permitiéndoles dar un consentimiento informado al interactuar con un sistema.
Además de esto, la transparencia puede tener varios beneficios comerciales:
Primero, al catalogar todos los sistemas utilizados en una empresa, se pueden tomar medidas para asegurar que los algoritmos se implementen de manera eficiente y que los procesos simples no se compliquen innecesariamente utilizando algoritmos complejos para realizar tareas menores.
En segundo lugar, si se presenta una acción legal contra una organización, la transparencia en sus sistemas de IA facilita una explicación clara de cómo funciona su sistema y por qué puede haber llegado a ciertas decisiones. Esto puede ayudar a absolver a las organizaciones de acusaciones de negligencia o intención maliciosa que surgen de la aplicación negativa de un sistema automatizado, resolver el problema rápidamente y asegurar que se tomen las medidas adecuadas cuando sea necesario. Un ejemplo aplicado de esto es la acción que se presentó contra Apple por su tarjeta Apple Card, que supuestamente otorgaba un límite de crédito mucho más alto a un hombre en comparación con su esposa, a pesar de que ella tenía una puntuación de crédito más alta. Sin embargo, Goldman Sachs, el proveedor de la tarjeta, pudo justificar por qué el modelo tomó la decisión que tomó, lo que significa que fueron exonerados de actividad ilegal, destacando la importancia de la IA explicable.
En última instancia, el objetivo general de la transparencia en la IA es establecer un ecosistema de confianza en torno al uso de la IA, particularmente entre los ciudadanos o usuarios de los sistemas, y especialmente en comunidades que están en mayor riesgo de daño por los sistemas de IA.
