¿Qué es la transparencia? – Ética de la IA
La transparencia puede definirse de múltiples maneras. Existen varios conceptos relacionados que a veces se utilizan como sinónimos de transparencia, incluyendo “explicabilidad” (la investigación de IA en esta área se conoce como XAI), “interpretabilidad”, “comprensibilidad” y “caja negra”.
La transparencia es, a grandes rasgos, una propiedad de una aplicación. Se refiere a la cantidad de información que es posible entender sobre el funcionamiento interno de un sistema “en teoría”. También puede significar la forma de proporcionar explicaciones de modelos y decisiones algorítmicas que sean comprensibles para el usuario. Esto trata sobre la percepción pública y la comprensión de cómo funciona la IA. La transparencia también puede considerarse un ideal socio-técnico y normativo de “apertura”.
Existen muchas preguntas abiertas sobre qué constituye la transparencia o la explicabilidad, y qué nivel de transparencia es suficiente para diferentes partes interesadas. Dependiendo de la situación específica, el significado preciso de “transparencia” puede variar. Es un tema de investigación científica abierta si existen varios tipos de transparencia.
Transparencia como propiedad de un sistema
Como propiedad de un sistema, la transparencia aborda cómo funciona internamente un modelo. La transparencia se divide en “simulabilidad” (comprender el funcionamiento del modelo), “descomponibilidad” (comprensión de los componentes individuales) y transparencia algorítmica (visibilidad de los algoritmos).
¿Qué hace que un sistema sea una “caja negra”?
Complejidad. En los sistemas de IA contemporáneos, la operación de una red neuronal está codificada en miles, o incluso millones, de coeficientes numéricos. Típicamente, el sistema aprende sus valores en la fase de entrenamiento. Debido a las interacciones complicadas entre estos valores, es prácticamente imposible entender cómo funciona la red, incluso si se conocen todos los parámetros.
Dificultad para desarrollar soluciones explicables. Incluso si los modelos de IA utilizados admiten algún nivel de explicabilidad, se requiere desarrollo adicional para construir la explicabilidad en el sistema. Puede ser complicado crear una experiencia de usuario que ofrezca explicaciones cuidadosas pero fácilmente comprensibles para los usuarios.
Preocupaciones de riesgo. Muchos algoritmos de IA pueden ser engañados si un atacante diseña cuidadosamente una entrada que provoca que el sistema funcione incorrectamente. En un sistema altamente transparente, puede ser más fácil manipular el sistema para obtener resultados extraños o no deseados. Por lo tanto, a veces, los sistemas se diseñan intencionalmente como cajas negras.
Dado que muchos de los modelos de aprendizaje profundo más eficientes actuales son modelos de caja negra (casi por definición), los investigadores parecen asumir que es poco probable que podamos desarrollarlos como completamente transparentes. Por ello, la discusión se centra en encontrar el “nivel suficiente de transparencia”. ¿Sería suficiente si los algoritmos ofrecieran a las personas una divulgación de cómo llegaron a su decisión y proporcionaran el menor cambio “que se puede hacer para obtener un resultado deseable”?
Por ejemplo, si un algoritmo niega a alguien un beneficio social, debería informar a la persona la razón y también qué puede hacer para revertir la decisión. La explicación debería indicar, por ejemplo, cuál es el salario máximo aprobado (entrada) y cómo disminuir la cantidad impactará en las decisiones tomadas (manipulación de la entrada).
El problema es que el derecho a saber también se aplica a situaciones donde el sistema comete errores. En ese caso, puede ser necesario realizar una autopsia al algoritmo e identificar los factores que causaron que el sistema cometiera errores. Esto no se puede hacer solamente manipulando las entradas y salidas.
Transparencia como comprensibilidad
La comprensibilidad – o entendibilidad – de un algoritmo requiere que se explique cómo se tomó una decisión por un modelo de IA de manera que sea suficientemente comprensible para aquellos afectados por el modelo. Se debe tener una idea concreta de cómo o por qué se ha llegado a una decisión particular basada en las entradas.
Sin embargo, es notoriamente difícil traducir conceptos derivados algorítmicamente en conceptos comprensibles para los humanos. En algunos países, los legisladores han discutido si las autoridades públicas deberían publicar los algoritmos que utilizan en la toma de decisiones automatizadas en términos de códigos de programación. Sin embargo, la mayoría de las personas no sabe cómo interpretar códigos de programación. Por lo tanto, es difícil ver cómo se incrementa la transparencia publicando códigos.
En la actualidad, los científicos cognitivos y de computación desarrollan descripciones humanamente interpretables de cómo se comportan las aplicaciones y por qué. Los enfoques incluyen, por ejemplo, el desarrollo de herramientas de visualización de datos, interfaces interactivas, explicaciones verbales o descripciones a nivel meta de las características de los modelos. Estas herramientas pueden ser extremadamente útiles para hacer que las aplicaciones de IA sean más accesibles. Sin embargo, aún queda mucho trabajo por hacer.
La comprensibilidad se basa en componentes dependientes del sujeto y la cultura, lo que complica más este tema. Por ejemplo, la lógica de cómo se interpretan las visualizaciones – o cómo se hacen las inferencias sobre ellas – varía entre culturas. Por lo tanto, los desarrolladores de tecnología deben prestar atención a la comprensión suficiente del lenguaje visual que utilizan.
Además, mucho depende del grado de alfabetización de datos o alfabetización algorítmica, por ejemplo, el conocimiento de las tecnologías contemporáneas. En algunas culturas, el vocabulario de la tecnología contemporánea es más familiar, pero en muchas otras puede ser completamente nuevo. Para aumentar la entendibilidad, claramente hay una necesidad de esfuerzos educativos significativos para mejorar la alfabetización algorítmica, por ejemplo, sobre el “pensamiento computacional”.
¿Cómo hacer que los modelos sean más transparentes?
El problema de la caja negra de la inteligencia artificial no es nuevo. Proporcionar transparencia para modelos de aprendizaje automático es un área activa de investigación. A grandes rasgos, existen cinco enfoques principales:
- Utilizar modelos más simples. Sin embargo, esto a menudo sacrifica la precisión a favor de la explicabilidad.
- Combinar modelos más simples y más sofisticados. Mientras el modelo sofisticado permite al sistema realizar cálculos más complejos, el modelo más simple puede utilizarse para proporcionar transparencia.
- Modificar entradas para rastrear dependencias relevantes entre entradas y salidas. Si la manipulación de entradas cambia los resultados generales del modelo, estas entradas pueden desempeñar un papel en la clasificación.
- Diseñar los modelos para el usuario. Esto requiere utilizar métodos y herramientas cognitivamente y psicológicamente eficientes para visualizar los estados del modelo o dirigir la atención. Por ejemplo, en visión por computadora, los estados en capas intermedias de los modelos pueden visualizarse como características (como cabezas, brazos y piernas) para proporcionar una descripción comprensible para la clasificación de imágenes.
- Seguir la investigación más reciente. Se está desarrollando mucha investigación sobre varios aspectos de la IA explicable, incluyendo las dimensiones sociocognitivas, y se están desarrollando nuevas técnicas.
