Explicabilidad de la IA: Una Guía Práctica para Construir Confianza y Comprensión

Aquí están las preguntas de alto nivel, separadas por

Como periodista tecnológico especializado en la gobernanza de la IA, he revisado la documentación sobre la explicabilidad de la IA e identificado preguntas que los profesionales del derecho tecnológico, los responsables de cumplimiento y los analistas de políticas deben hacerse.

Comprensión de la explicabilidad y la transparencia de la IA

¿Cuál es la diferencia entre la explicabilidad de la IA y la transparencia de la IA, y por qué deberíamos centrarnos en la explicabilidad en la práctica?

• Explicabilidad: es el grado en que las personas pueden comprender la lógica y los procesos de un sistema de IA para garantizar la sostenibilidad, la seguridad, la equidad y la rendición de cuentas.
• Transparencia: si bien está relacionada, puede referirse tanto a la interpretabilidad de un sistema de IA («abrir la caja negra») *como* a la demostración de que los procesos de diseño y desarrollo de la IA son sostenibles, seguros, justos e impulsados por datos gestionados de forma responsable.
• Información práctica: Si bien la transparencia es crucial, la explicabilidad ofrece una guía práctica sobre la puesta en práctica de la transparencia, lo que la hace directamente relevante para los esfuerzos de gobernanza.

Alineación regulatoria

¿Qué es el Estándar de Registro de Transparencia Algorítmica (ATRS) del Reino Unido y cómo puede ayudar a cumplir las regulaciones?

• El ATRS ayuda a los organismos del sector público a publicar información sobre las herramientas algorítmicas utilizadas en los procesos de toma de decisiones que afectan al público.

Consideraciones éticas

¿Existen compensaciones entre la seguridad y la explicabilidad, y cómo las equilibramos, especialmente cuando trabajamos con datos digitales de niños?

• Seguridad vs. Explicabilidad: Los contextos de alto riesgo pueden incentivar la ocultación del funcionamiento de la IA para evitar la explotación, lo que puede generar preocupaciones sobre sesgos, equidad y rendición de cuentas. Equilibrar estos aspectos es esencial para construir sistemas de IA responsables.
• IA centrada en el niño: Cuando la explicabilidad involucra a niños, es esencial considerar sus necesidades y capacidades específicas, como la capacitación de los implementadores, la participación de los niños durante todo el ciclo de vida del proyecto y el cumplimiento del Código de Diseño Apropiado para la Edad de la ICO del Reino Unido.

Explicaciones basadas en procesos y resultados

¿Qué son las explicaciones basadas en procesos y las explicaciones basadas en resultados y cómo debemos abordar cada una?

• Explicaciones basadas en resultados: incluyen el «qué» y el «por qué» detrás de los resultados del modelo. Deben ser accesibles y fáciles de entender. También incluye explicar a las partes interesadas afectadas si, cómo y por qué se llegó al juicio humano asistido por IA.
• Explicaciones basadas en procesos: demuestran que se han seguido las buenas prácticas de gobernanza y las mejores prácticas durante todo el diseño y el uso de un sistema de IA. Debería implicar demostrar que las consideraciones de sostenibilidad, seguridad, equidad y gestión responsable de datos estuvieron operativas durante todo el ciclo de vida del proyecto.

Máximas para la IA ética

¿Qué máximas clave deben guiar nuestro enfoque de la explicabilidad de la IA?

• Ser transparente: Haga que el uso de la IA sea obvio y explique las decisiones de manera significativa a las personas, en línea con el Artículo 5(1) del RGPD del Reino Unido.
• Ser responsable: Garantizar la supervisión, responder ante los organismos internos y externos y asumir la responsabilidad del cumplimiento.
• Considerar el contexto: No existe un enfoque único para todos, esto se aplica a las opciones de modelo y explicación, la estructura de gobernanza y las partes interesadas.
• Reflexionar sobre los impactos: Comprender el daño potencial o el deterioro del bienestar de las decisiones algorítmicas.

Construcción de sistemas de IA explicables

¿Qué consideraciones de alto nivel deben guiar el desarrollo de sistemas de IA apropiadamente explicables?

• Contexto, impacto potencial y necesidades específicas del dominio: Comprender el tipo de aplicación, las expectativas específicas del dominio y las tecnologías existentes.
• Aprovechar las técnicas interpretables estándar: Haga coincidir las técnicas con los riesgos del dominio, los recursos de datos y la adecuación de la tarea.
• Consideraciones sobre el uso de sistemas de IA de «caja negra»: Sopesar a fondo los posibles impactos, considerar herramientas de interpretabilidad complementarias y formular un plan de acción para optimizar la explicabilidad.
• Interpretabilidad y comprensión humana: Tener en cuenta las capacidades y limitaciones de la cognición humana, enfatizando la simplicidad y la accesibilidad.

Tipos de explicación

¿Qué diferentes tipos de explicaciones debe proporcionar una organización para que las decisiones sean SSAFE – D (Sostenibles, Seguras, Responsables, Justas, Explicables y tengan una buena administración de datos)?

• Razón: Aclarar el «Por qué»
  • Consideraciones para la IA centrada en el niño: La explicación de la elección del modelo, el funcionamiento interno y los resultados estadísticos deben entregarse de una manera apropiada para la edad.
• Responsabilidad: Proporcionar detalles sobre «Quién» es responsable en cada paso del diseño y la implementación del modelo de IA.
  • Consideraciones para la IA centrada en el niño: Si el niño interactúa con un sistema de IA (por ejemplo, un juguete, un chatbot, un sistema en línea), debe tener el «derecho a una explicación a un nivel apropiado para la edad y de manera inclusiva».
• Datos: Destacar «Qué» tipos de datos se tienen sobre ellos, otras fuentes de datos utilizadas en una decisión particular de IA y datos para entrenar y probar el modelo de IA.
  • Consideraciones para la IA centrada en el niño: Se debe promover y mantener en primer plano la agencia de datos de los niños, incluida la presentación de informes transparentes.
• Equidad: Explicar las medidas adoptadas para garantizar decisiones de IA imparciales y equitativas,
  • Consideraciones para la IA centrada en el niño: Es explícito sobre la(s) definición(es) formal(es) de equidad al tiempo que brinda apoyo activo a los niños marginados que pueden beneficiarse o no verse perjudicados.
• Seguridad: Proporcionar los pasos, las medidas y el razonamiento para garantizar la maximización de la solidez, el rendimiento, la fiabilidad y la seguridad de las decisiones asistidas por IA.
  • Consideraciones para la IA centrada en el niño: Debe tener un mecanismo para el seguimiento y la evaluación continuos de la seguridad durante todo el ciclo de vida del modelo de IA. Centrado en el niño
• Impacto: Centrar las consideraciones en cómo el sistema puede afectar a las personas o a la sociedad en general, y si puede ser de utilidad.
  • Consideraciones para la IA centrada en el niño: Es fundamental tener en cuenta los posibles impactos que podrían afectar; Seguridad, salud mental/bienestar, futuras vías.

Gestión de la garantía de la explicabilidad

¿Cómo podemos implementar prácticamente toda esta información en sistemas de IA explicables?

• Hay tareas establecidas para ayudarle a implementar, diseñar y proporcionar aclaraciones sobre los resultados. Esta tarea también ayuda a proporcionar e implementar adecuadamente sistemas de IA transparentes y explicables que incluyen (Diseño, Desarrollo/Adquisición Implementación)

Principales tareas para la gestión de la garantía de la explicabilidad para la IA

¿De qué manera puede mi empresa garantizar modelos de IA bien establecidos que puedan explicarse adecuadamente?

• Tarea 1 Seleccionar explicaciones prioritarias (el dominio y el impacto en las personas serán clave para la priorización)
  • Consideraciones para la IA centrada en el niño: Cuando se incluyan niños, datos de niños o datos personales de los mismos en un sistema de IA, se exigirá un cuidado adicional. La planificación del proyecto debe tener una mayor transparencia para explicar la participación de los niños.
• Tarea 2: Asegúrese de que los datos se preprocesan y recopilan (de una manera que se puedan explicar las razones del porqué)
• Consideraciones para la IA centrada en el niño: Asegúrese de que se mantengan todas las directrices de regulación en torno al manejo, uso, consentimiento, etc. alineadas con la (Política de UNICEF) / ICO.
• Tarea 3: Construir un sistema que sea capaz de extraer la información relevante necesaria.
  • Consideraciones para la IA centrada en el niño: Que el modelo que desee utilizar esté justificado, o si existe un posible método para garantizar que un modelo ético aún pueda proporcionar resultados para un resultado sin añadir preocupaciones de seguridad.
• Tarea 4: Asegúrese de que todo el razonamiento extraído se traduce en resultados o en un resumen para su uso
  • Consideraciones para la IA centrada en el niño: La explicación de la decisión debe explicarse en términos simplistas para mantener una comprensión adecuada.
• Tarea 5: Preparar a los implementadores antes de implementar un sistema.
  • Consideraciones para la IA centrada en el niño: Debe comprometerse con cualquier persona que pueda ser responsable al tratar con datos de niños para garantizar que esté alineado y que el personal comprenda la sensibilidad.
• Tarea 6: Considerar todos los aspectos del modelo para los datos presentados correctamente.
  • Consideraciones para la IA centrada en el niño: Se debe escribir un breve resumen para transmitir y apoyar adecuadamente todas las facetas o la entrega de una explicación/el modelo utilizado.

¿Qué es un EAM: Gestión de la garantía de la explicabilidad?

Estas plantillas le ayudarán a realizar 6 tareas una vez implementadas. Debe incluirse en una lista de comprobación

• Revise la lista de comprobación, asegúrese de que puede proporcionar: Transparente de principio a fin, la consideración y el impacto se tienen en cuenta en el sector, el potencial se considera al explicar la profundidad.

Datos en modelos

Al considerar los puntos de datos/entrada para los datos, el grupo o modelo debe:

• Establecer objetivos de seguridad, modelado que conduzca a resultados, implementar evaluaciones e impacto en las partes interesadas.

¿Qué es la Explicabilidad de la IA?

La explicabilidad de la IA es el grado en que los sistemas de IA y las prácticas de gobernanza permiten a una persona comprender la *lógica* detrás del comportamiento de un sistema. También abarca la demostración de los procesos detrás de su diseño, desarrollo e implementación, garantizando la sostenibilidad, la seguridad, la equidad y la rendición de cuentas en todos los contextos.

Aspectos Centrales de la Explicabilidad de la IA

La explicabilidad implica la *comunicabilidad*, que requiere explicaciones claras y accesibles. La profundidad y el contenido de las explicaciones dependen del contexto sociocultural en el que se entregan y de la audiencia que las recibe. La Explicabilidad de la IA aborda:

• Resultados de modelos algorítmicos (para decisiones automatizadas o como entradas para la toma de decisiones humanas).
• Procesos mediante los cuales un modelo y su sistema/interfaz circundante se diseñan, desarrollan, implementan y desaprovisionan.

Explicabilidad de la IA vs. Transparencia de la IA

Aunque están relacionadas, la explicabilidad se centra en la *práctica* de proporcionar explicaciones sobre los resultados respaldados por la IA y los procesos detrás de ellos. La transparencia de la IA se refiere a ambos:

1. Interpretabilidad de un sistema (comprensión de cómo y por qué un modelo funcionó en un contexto específico).
2. Demostrar que los procesos y la toma de decisiones detrás de los sistemas de IA son sostenibles, seguros y justos.

En última instancia, el desarrollo de una explicación *requiere* un cierto grado de transparencia.

Implementación Práctica

Implementar la explicabilidad de la IA significa centrarse directamente en las prácticas de explicación *basada en resultados* y *basada en procesos*.

Consideraciones Clave para los Implementadores

• **El Contexto es Crítico:** La profundidad, la amplitud y el contenido de las explicaciones deben variar según el contexto sociocultural y la audiencia.
• **Compromisos entre Seguridad y Explicabilidad:** Las medidas de seguridad tomadas para proteger los algoritmos y los datos pueden crear un conflicto con la explicabilidad, creando un riesgo de sesgo que puede conducir a consecuencias no deseadas.
• **Consideraciones Centradas en los Niños:** Preocupaciones adicionales tales como los efectos a largo plazo en el desarrollo holístico, así como la exfiltración de datos.

¿Cuáles son los principales tipos de explicación?

A medida que la IA continúa permeando los procesos críticos de toma de decisiones, ya no es suficiente con simplemente tener un modelo que funcione bien. Las partes interesadas y los reguladores exigen transparencia, lo que impulsa la necesidad de hacer que los sistemas de IA sean explicables. Esta sección profundiza en los principales tipos de explicaciones cruciales para construir confianza y garantizar el cumplimiento.

El tipo de explicación requerida variará dependiendo del contexto, el contexto socio-cultural y la audiencia a la que se ofrecen. Si bien no existe un enfoque único para explicar las decisiones asistidas por IA/ML, estos seis tipos de explicación comunes están diseñados para ayudar a su equipo de proyecto de IA a construir explicaciones concisas y claras. Cada uno está relacionado con un principio SSAFE-D (Sostenibilidad, Seguridad, Responsabilidad, Imparcialidad, Explicabilidad y Administración de Datos):

• Explicación de la base lógica: Aborda el «por qué» detrás de una decisión de la IA.
• Explicación de la responsabilidad: Aclara quién es responsable a lo largo del ciclo de vida del modelo de IA, proporcionando un punto de contacto para la revisión humana.
• Explicación de los datos: Detalla los datos utilizados, sus fuentes y cómo se gestionaron para llegar a una decisión.
• Explicación de la imparcialidad: Describe los pasos dados para asegurar decisiones de IA imparciales y equitativas.
• Explicación de la seguridad: Describe las medidas implementadas para maximizar el rendimiento, la fiabilidad, la seguridad y la solidez de los resultados de la IA.
• Explicación del impacto: Explica lo que se consideró sobre los posibles efectos de un sistema de apoyo a las decisiones de la IA en un individuo y en la sociedad.

Estas explicaciones pueden dividirse aún más en dos tipos amplios:

Explicaciones basadas en el proceso

Estas explicaciones demuestran los procesos de buen gobierno y las mejores prácticas que se siguieron a lo largo del diseño y la implementación del sistema de IA. Muestran cómo se consideraron la sostenibilidad, la seguridad, la imparcialidad y la gestión responsable de los datos de principio a fin en el ciclo de vida del proyecto.

Por ejemplo, si se intenta explicar la imparcialidad y la seguridad, los componentes de su explicación implicarán demostrar que ha tomado las medidas adecuadas en la producción e implementación del sistema para asegurar que su resultado sea imparcial y seguro.

Explicaciones basadas en el resultado

Estas explicaciones se centran en el razonamiento detrás de los resultados del modelo, delineando factores contextuales y relacionales. Deben comunicarse en lenguaje sencillo, accesible para las partes interesadas afectadas.

Es importante también tener en cuenta la IA explicable para Niños. Cuando se consideran los derechos de los niños en lo que respecta a los sistemas de IA, implica garantizar que los niños comprendan cómo les impactan los sistemas de IA, así como utilizar un lenguaje apropiado para su edad.

Recuerde, proporcionar explicaciones tanto basadas en el proceso como basadas en el resultado es crucial para fomentar la confianza, demostrar la responsabilidad y, en última instancia, asegurar el despliegue responsable de los sistemas de IA.

¿Qué consideraciones deben abordarse al construir sistemas de IA explicables de manera apropiada?

A medida que los sistemas de IA se integran más en los procesos críticos de toma de decisiones, especialmente en sectores como el tecnológico-legal, el cumplimiento normativo y la gobernanza, comprender y explicar su lógica es primordial. La clave para esto es asegurar que los proyectos de IA sean sostenibles, justos, seguros, responsables y que mantengan la calidad e integridad de los datos. Esto implica enfatizar la comunicabilidad, entregando explicaciones claras y accesibles adaptadas al contexto sociocultural y a la audiencia.

Desglosemos las consideraciones clave:

Transparencia y Responsabilidad

La transparencia de los resultados y procesos es fundamental. La documentación que detalla cómo se diseñó, desarrolló e implementó un sistema de IA ayuda a justificar acciones y decisiones a lo largo del ciclo de vida del proyecto. Esto se relaciona directamente con el Artículo 5(1) del RGPD del Reino Unido, que exige que los datos personales se «traten de manera lícita, leal y transparente». Los equipos del proyecto deben satisfacer todos los aspectos de este principio.

• Divulgar el uso de la IA: Informar proactivamente a las personas, por adelantado, sobre el uso de la IA en las decisiones que les conciernen. Ser abierto sobre por qué, cuándo y cómo se está utilizando la IA.
• Explicar las decisiones de manera significativa: Proporcionar una explicación coherente y veraz, presentada adecuadamente y entregada en el momento oportuno.

La responsabilidad implica asegurar una supervisión adecuada y ser responsable ante las partes interesadas internas y externas, incluidos los reguladores y las personas afectadas. Esto incluye asumir la responsabilidad del cumplimiento de los principios de protección de datos y demostrar ese cumplimiento a través de medidas técnicas y organizativas apropiadas; protección de datos desde el diseño y por defecto.

• Asignar responsabilidad: Identificar y asignar la responsabilidad dentro de la organización para gestionar y supervisar los requisitos de «explicabilidad» de los sistemas de IA, incluyendo un punto de contacto humano para aclaraciones o impugnación de decisiones.
• Justificar y evidenciar: Considerar y documentar activamente las decisiones justificadas sobre el diseño y la implementación de modelos de IA explicables de manera apropiada. Documentar estas consideraciones y demostrar que están presentes en el diseño y la implementación del modelo. Mostrar evidencia de las explicaciones proporcionadas a las personas.

Contexto e impacto

No existe un enfoque único para todos. Las consideraciones contextuales implican prestar atención a varios elementos interrelacionados que pueden afectar la explicación de las decisiones asistidas por IA y la gestión del proceso general. Esta debe ser una evaluación continua durante todo el ciclo de vida del proyecto.

• Elegir modelos y explicaciones apropiados: En función del entorno, el impacto potencial y lo que una persona necesita saber sobre una decisión, seleccionar un modelo de IA explicable de manera apropiada y priorizar los tipos de explicación relevantes.
• Adaptar la gobernanza y la explicación: Asegurar prácticas de gobernanza sólidas, adaptadas a la organización y a las circunstancias y necesidades específicas de cada parte interesada.
• Identificar a la audiencia: Considerar a la audiencia y adaptar las explicaciones a su nivel de experiencia y comprensión. ¿Qué nivel de explicación es adecuado para su propósito, ya sea para usuarios finales, implementadores, auditores o personas afectadas por la decisión? Considerar las vulnerabilidades y los ajustes razonables para aquellos que requieran explicaciones.

Reflexionar sobre los impactos de los sistemas de IA ayuda a demostrar que las técnicas algorítmicas no dañarán ni perjudicarán el bienestar individual. Esto incluye evaluar los propósitos y objetivos éticos del proyecto de IA en las etapas iniciales y revisar y reflexionar sobre esos impactos durante todo el desarrollo para mitigar los posibles daños.

Implementación práctica y consideraciones clave

Al buscar mayores grados de explicabilidad para los modelos y una mejor interpretabilidad de los resultados, considere lo siguiente:

• Necesidades específicas del dominio: Evaluar el contexto, el impacto potencial y las necesidades específicas del dominio al determinar los requisitos de interpretabilidad. Esto incluye considerar el tipo de aplicación, las expectativas, las normas y las reglas específicas del dominio, y las tecnologías existentes. ¿Cómo impactará la solución en los estándares de la industria y otros consejos gubernamentales?
• Técnicas interpretables estándar: Utilizar técnicas interpretables estándar siempre que sea posible, equilibrando los riesgos y las necesidades específicas del dominio con los recursos de datos disponibles, el conocimiento del dominio y las técnicas apropiadas de IA/ML.
• Sistemas de IA de «caja negra»: Al considerar los sistemas de IA de «caja negra», sopesar a fondo los posibles impactos y riesgos, explorar opciones para herramientas de interpretabilidad complementarias y formular un plan de acción para optimizar la explicabilidad. Crear informes detallados para ayudar con la toma de decisiones del modelo.
• Comprensión humana: Tener en cuenta que la interpretabilidad debe estar en términos de las capacidades y limitaciones de la cognición humana, priorizando la simplicidad y la parsimonia informativa para una IA accesible.

Tipos de explicaciones

El contexto determina qué información se requiere, es útil o accesible para explicar las decisiones que involucran a la IA y, por lo tanto, qué tipos de explicaciones son los más apropiados. Hay varios tipos de explicaciones que fueron diseñados para ayudar a su equipo de proyecto de IA a construir explicaciones concisas y claras:

• Explicación de la razón fundamental: Ayuda a las personas a entender las razones que llevaron a un resultado de decisión.
• Explicación de la responsabilidad: Ayuda a las personas a entender quién está involucrado en el desarrollo y la gestión del modelo de IA, y a quién contactar para una revisión humana de una decisión.
• Explicación de datos: Ayuda a las personas a entender qué datos sobre ellos, y qué otras fuentes de datos, se utilizaron en una decisión particular de IA, así como los datos utilizados para entrenar y probar el modelo de IA.
• Explicación de la equidad: Ayuda a las personas a entender los pasos tomados para asegurar que las decisiones de la IA sean generalmente imparciales y equitativas, y si han sido tratadas equitativamente ellas mismas.
• Explicación de seguridad: Ayuda a las personas a entender las medidas que están en marcha y los pasos tomados para maximizar el rendimiento, la fiabilidad, la seguridad y la robustez de los resultados de la IA, así como cuál es la justificación para el tipo de sistema de IA elegido.
• Explicación del impacto: Ayuda a las personas a entender las consideraciones tomadas sobre los efectos que el sistema de apoyo a la decisión de la IA puede tener en un individuo y en la sociedad.

¿Qué es la interpretabilidad en el contexto de los sistemas de IA/ML?

En el mundo de la IA y el aprendizaje automático (ML), que evoluciona rápidamente, la interpretabilidad se ha convertido en una preocupación fundamental para los reguladores, los responsables de cumplimiento y cualquier persona que despliegue estos sistemas. En pocas palabras, la interpretabilidad es el grado en que un ser humano puede entender cómo y por qué un modelo de IA/ML realizó una predicción o tomó una decisión particular en un contexto específico. Se trata de algo más que abrir la «caja negra»; se trata de hacer que la lógica del modelo sea accesible y comprensible para los usuarios humanos.

El núcleo de la interpretabilidad

La interpretabilidad va más allá de la comprensión abstracta; se centra en la capacidad de un ser humano para comprender el funcionamiento interno y la lógica subyacente de un sistema de IA. Idealmente, las partes interesadas deberían poder analizar las razones detrás de los resultados o comportamientos de un modelo, señalando cómo las diversas características de entrada, las interacciones y los parámetros contribuyeron a un resultado específico. Esto requiere traducir componentes matemáticos complejos a un lenguaje sencillo y cotidiano que los destinatarios de las decisiones puedan entender.

Preocupaciones regulatorias e implicaciones prácticas

Los reguladores están enfatizando cada vez más la interpretabilidad como piedra angular del desarrollo y la implementación responsables de la IA. La necesidad de transparencia crea tensión en contextos de alto riesgo como la seguridad nacional, donde explicar un sistema de IA puede exponer vulnerabilidades. Sin embargo, la falta de interpretabilidad plantea preocupaciones sobre:

• Sesgo e Imparcialidad: Sin comprender cómo funciona un modelo, es difícil detectar y mitigar los sesgos discriminatorios incrustados en los datos o los algoritmos.
• Responsabilidad: Si un sistema de IA comete un error o produce un resultado injusto, es crucial rastrear el proceso de toma de decisiones e identificar a las partes responsables.
• Consecuencias no deseadas: La incapacidad de interpretar el comportamiento de un modelo puede llevar a la pérdida de riesgos e impactos negativos inesperados, especialmente en las poblaciones vulnerables.

Para los sistemas de IA que impactan a los niños, los riesgos son especialmente altos. Regulaciones como el Código de Diseño Apropiado para la Edad del Reino Unido enfatizan las explicaciones amigables para los niños y las prácticas transparentes de datos. La Guía de Política de UNICEF sobre la IA para los Niños añade que los sistemas deben desarrollarse teniendo en cuenta a los niños más vulnerables, independientemente de su comprensión.

Herramientas prácticas para la construcción de sistemas interpretables

Si bien el uso de modelos menos complejos como la regresión lineal puede mejorar la interpretabilidad, a veces los modelos de «caja negra» como las redes neuronales o los bosques aleatorios ofrecen un rendimiento más potente. La solución es entonces incorporar técnicas de interpretabilidad ‘post-hoc’ — métodos aplicados después de que un modelo es construido para explicarlo externamente. Aquí hay dos técnicas principales que pueden ayudar con tales modelos:

• Explicaciones Locales: Técnicas como LIME (Local Interpretable Model-agnostic Explanations) proporciona explicaciones por instancia, es decir, por qué el modelo tomó esa decisión explícita.
• Explicaciones Globales: PDP (Partial Dependence Plots) y ALE (Accumulated Local Effects Plot) ofrecen una visión de la importancia «promedio» de las características para explicar y evaluar un modelo a un nivel global alto.

Construir sistemas de IA/ML explicables no es fácil, pero es fundamental. Los equipos deben tomar decisiones justificadas y transparentes sobre el diseño y la implementación del modelo, y estar en condiciones de explicar claramente cómo la IA influyó en decisiones específicas.

¿Cuáles son los aspectos clave para ser transparente en el desarrollo de la IA?

A medida que la adopción de la IA se acelera, la transparencia ya no es opcional sino un requisito fundamental. La transparencia en la IA, según los estándares de la industria, abarca dos facetas críticas. Primero, implica la interpretabilidad del sistema de IA: la capacidad de comprender cómo y por qué un modelo se comporta como lo hace, ‘abriendo la caja negra’ de manera efectiva. En segundo lugar, la transparencia exige la demostración de que los procesos de diseño, desarrollo e implementación del sistema de IA son sostenibles, seguros, justos y respaldados por datos gestionados de manera responsable. Esto significa una documentación clara y una justificación en cada etapa del ciclo de vida de la IA.

Conocimientos Fundamentales

Ser transparente en el desarrollo de la IA depende de varios aspectos clave:

• Divulgar el Uso de la IA: Sea sincero sobre el uso de la IA en los procesos de toma de decisiones antes de tomar decisiones. Indique claramente cuándo y por qué se está utilizando la IA.
• Explicar las Decisiones de Manera Significativa: Proporcione a las partes interesadas explicaciones veraces, coherentes y presentadas de manera adecuada en el momento correcto.
• Registro de Transparencia: Aproveche marcos como el Estándar de Registro de Transparencia Algorítmica (ATRS) del Reino Unido para publicar abiertamente información sobre las herramientas algorítmicas utilizadas en la toma de decisiones del sector público. El ATRS ofrece una forma estructurada de comunicar sobre las herramientas algorítmicas y su impacto.

Preocupaciones Regulatorias

La transparencia de la IA no es solo una mejor práctica; es un imperativo de cumplimiento. El Artículo 5(1) del RGPD del Reino Unido exige que el procesamiento de datos personales sea legal, justo y transparente. Este mandato legal está dando forma a la forma en que las organizaciones abordan el desarrollo y la implementación de la IA. La Oficina del Comisionado de Información (ICO) del Reino Unido también ha desarrollado una guía sobre cómo explicar las decisiones tomadas con IA que subraya la necesidad de explicaciones claras y accesibles.

Sin embargo, pueden surgir conflictos, especialmente en áreas como la seguridad nacional, donde los intereses de seguridad pueden chocar con la necesidad de transparencia. Además, los equipos de proyecto deben abordar los posibles riesgos de seguridad de la IA, cómo gestionan la información generada sobre esos riesgos y hasta qué punto se ponen a disposición las explicaciones del modelo y los procesos del proyecto de IA.

Implicaciones Prácticas

Para que las organizaciones implementen eficazmente la transparencia de la IA, se deben seguir algunos pasos prácticos:

• Explicaciones Basadas en el Proceso: Demuestre buenas prácticas de gobernanza a lo largo del diseño y uso del sistema de IA. Documente cómo la sostenibilidad, la seguridad, la justicia y la gestión responsable de los datos se integran en el ciclo de vida del proyecto.
• Explicaciones Basadas en el Resultado: Ofrezca explicaciones claras y accesibles de los resultados del modelo en un lenguaje sencillo. Justifique cómo se alcanzan los juicios asistidos por IA, especialmente en los sistemas en los que interviene el ser humano.
• Abordar las Preocupaciones sobre la Equidad de los Datos: La transparencia requiere un firme compromiso con la equidad de los datos para garantizar que se incluya una gama diversa de datos; la información transparente también debe demostrar que se cumplió este objetivo. Esto requiere abordar cómo se construyen, gestionan y utilizan los conjuntos de datos, con un enfoque continuo en la mitigación de posibles sesgos.

Consideraciones Especiales: IA Centrada en el Niño

La transparencia no es ‘un tamaño para todos’ y requiere un cuidado especial para los grupos vulnerables. Numerosos documentos de orientación centrados en el niño, como la guía de políticas de UNICEF sobre la IA para los niños, el Código de diseño apropiado para la edad de la ICO del Reino Unido, mencionan la transparencia. Esto implica garantizar que los niños comprendan cómo les impactan los sistemas de IA. También deben entregarse de manera apropiada para su edad. Esto implica informar a los niños cuando están interactuando con un sistema de IA en lugar de con un humano; proporcionar información clara sobre la privacidad; entregar explicaciones ‘en pequeñas dosis’ al usuario cuando los datos personales se utilizan para el entrenamiento, publicar políticas claras, estándares de la comunidad y términos de uso; y utilizar representaciones de la información amigables para los niños que se adaptan a edades específicas.

¿Cuáles son los aspectos clave de la rendición de cuentas en el desarrollo de la IA?

La rendición de cuentas es crucial para un desarrollo de la IA sostenible, justo y seguro. Se trata de justificar los procesos y resultados de la IA y de responder ante las partes interesadas internas, los reguladores y las personas afectadas.

Conceptos Centrales: De la Transparencia a la Explicabilidad

La rendición de cuentas exige transparencia, pero no son intercambiables. La transparencia implica interpretabilidad («abrir la caja negra») y demostrar que los procesos de diseño/desarrollo son sostenibles, seguros y justos.

La explicabilidad, que está centrada en la práctica, se centra en la operacionalización de la transparencia tanto en los resultados respaldados por la IA como en los procesos de desarrollo.

Preocupaciones Regulatorias y Marcos Legales

El Reglamento General de Protección de Datos (RGPD) del Reino Unido enmarca la rendición de cuentas como un principio fundamental, exigiendo responsabilidad por el cumplimiento de los principios de protección de datos. Esto abarca la implementación de medidas técnicas y organizativas apropiadas.

La Oficina del Comisionado de Información (ICO) del Reino Unido e iniciativas como el Estándar de Grabación de Transparencia Algorítmica (ATRS) reflejan el creciente énfasis en las prácticas de IA responsables.

Implicaciones Prácticas y Pasos Accionables

Ser responsable significa varias acciones clave para los equipos técnicos y legales:

• Asignar Responsabilidad: Designar a personas dentro de la organización que gestionen los requisitos de explicabilidad, asegurando un punto de contacto claro para consultas o impugnaciones a las decisiones.
• Justificar y Evidenciar: Tomar y documentar activamente decisiones justificables relacionadas con el diseño y la implementación explicables. Evidenciar esas decisiones a lo largo del ciclo de vida del proyecto, demostrando explicaciones significativas a las personas.
• Transparencia: Los equipos del proyecto deben ser honestos sobre cómo y por qué están utilizando datos personales.
• Explicar las decisiones de forma significativa: Proporcionar a las partes interesadas una explicación coherente que sea:
  • Veraz y significativa;
  • Escrita o presentada adecuadamente; y
  • Entregada en el momento oportuno.

Las organizaciones deben demostrar su compromiso de explicar las decisiones tomadas con la IA, centrándose en los procesos y las acciones a lo largo del ciclo de vida del modelo de IA/ML (diseño, adquisición/subcontratación e implementación).

IA Centrada en el Niño: Doblando la Apuesta por la Responsabilidad

Cuando los sistemas de IA impactan a los niños, la rendición de cuentas es primordial. Adherirse al Código de Diseño Apropiado para la Edad del ICO del Reino Unido es fundamental. La guía de UNICEF exige asegurar que los sistemas de IA protejan y empoderen a los usuarios infantiles, independientemente de su comprensión del sistema. Las organizaciones también deben tener en cuenta los derechos del niño, incluyendo la supervisión de expertos y órganos independientes centrados en sus derechos.

En última instancia, la rendición de cuentas en la IA es un viaje continuo, que requiere una reflexión constante, una evaluación del impacto y un compromiso con la construcción de sistemas confiables.

¿Qué aspectos del contexto deben considerarse al explicar las decisiones asistidas por IA?

Al explicar las decisiones asistidas por la IA, «considerar el contexto» es primordial. No es algo puntual, sino una consideración continua desde el concepto hasta la implementación, e incluso al presentar la explicación en sí.

Aspectos clave de la consideración del contexto:

• Selección del modelo y la explicación: Elija modelos y explicaciones adaptados al escenario específico. Esto significa evaluar el contexto, el impacto potencial de la decisión y lo que el individuo necesita saber al respecto. Esta evaluación le ayuda a:
  • Elegir un modelo de IA que sea adecuadamente explicable.
  • Priorizar la entrega de tipos de explicación relevantes.
• Gobernanza y adaptación de la explicación: La gobernanza de la explicabilidad de la IA debe ser:
  • Sólida y reflejo de las mejores prácticas.
  • Adaptada a su organización y a las circunstancias y necesidades de las partes interesadas.
• Identificación de la audiencia: Reconocer que la audiencia influye en el tipo de explicaciones significativas y útiles. Se debe prestar atención a:
  • Usuarios finales e implementadores
  • Auditores
  • Individuos afectados por la decisión
    • Su nivel de experiencia sobre la decisión.
    • El rango de personas sujetas a las decisiones (para tener en cuenta la variación del conocimiento).
    • Si las personas requieren ajustes razonables en la forma en que reciben las explicaciones.
    • Acomodar las necesidades de explicación de los más vulnerables.

  Para tener en cuenta las vulnerabilidades únicas de los niños, los sistemas de IA deben adaptarse a los contextos nacionales y locales desde el diseño hasta la implementación para eliminar el sesgo algorítmico que resulta de la ceguera contextual. También debe considerar la participación activa de los niños en todas las etapas del ciclo de vida del proyecto para considerar su contexto de uso previsto de los sistemas. Al considerar los impactos potenciales, concéntrese en «apoyar activamente a los niños más marginados».

  ¿Cómo se pueden reflexionar sobre los impactos de los sistemas de IA/ML?

  A medida que los sistemas de IA/ML actúan cada vez más como fideicomisarios de la toma de decisiones humanas, es crucial reflexionar sobre sus impactos. Los individuos no pueden responsabilizar directamente a estos sistemas, por lo que las organizaciones deben demostrar que las técnicas algorítmicas no perjudican el bienestar.

  Esta reflexión debe comenzar en las etapas iniciales del proyecto abordando los propósitos y objetivos éticos. Sin embargo, la reflexión no debe detenerse ahí. Debe revisar y reflexionar sobre estos impactos a lo largo de las etapas de desarrollo e implementación. Documente cualquier nuevo impacto identificado, junto con las medidas de mitigación implementadas.

  Aspectos Clave para Reflexionar sobre los Impactos

  Garantizar el Bienestar Individual: Construya e implemente sistemas de IA/ML que:

  • Fomenten la integridad física, emocional y mental.
  • Aseguren decisiones libres e informadas.
  • Salvaguarden la autonomía y la expresión.
  • Apoyen las capacidades para florecer y perseguir intereses.
  • Preserven la vida privada independiente de la tecnología.
  • Aseguren las capacidades para contribuir a los grupos sociales.

  Garantizar el Bienestar Social: Construya sistemas que:

  • Salvaguarden la conexión humana y la cohesión social.
  • Prioricen la diversidad, la participación y la inclusión.
  • Alienten a que se escuchen todas las voces.
  • Traten a todos los individuos por igual y protejan la equidad social.
  • Utilicen la IA para proteger un trato justo e igualitario ante la ley.
  • Utilicen la innovación para empoderar y promover el bienestar.
  • Anticipen los impactos globales y generacionales más amplios.

  Consideraciones para la IA Centrada en los Niños

  Reflexionar sobre los impactos se conecta directamente con asegurar la equidad, la no discriminación y la privacidad de los datos para los niños. Esto significa:

  • Apoyar activamente a los niños marginados para asegurar los beneficios de los sistemas de IA.
  • Asegurar que los conjuntos de datos incluyan una diversidad de datos de niños.
  • Implementar enfoques de datos responsables para manejar los datos de los niños con cuidado y sensibilidad.
  • Adherirse al Código de Diseño Apropiado para la Edad, asegurando que los datos de los niños no se utilicen de maneras que afecten negativamente su bienestar o contravengan los estándares establecidos.

  ¿Cómo se puede construir un sistema de IA/ML apropiado para extraer información relevante para una variedad de tipos de explicación?

  Construir un sistema de IA/ML capaz de proporcionar información relevante para varios tipos de explicación requiere una consideración cuidadosa de varios factores, incluyendo la selección del modelo, el manejo de datos y los procesos de gobernanza.

  Consideraciones Clave para la Explicabilidad

  • Contexto, Impacto y Dominio: Evaluar el contexto específico, el impacto potencial y las necesidades específicas del dominio al establecer los requisitos de interpretabilidad del proyecto.
  • Técnicas Estándar: Recurrir a técnicas interpretables estándar cuando sea posible, equilibrando los riesgos específicos del dominio, los datos disponibles y las técnicas de IA/ML apropiadas.
  • Modelos de «Caja Negra»: Si se utiliza un sistema de IA de «caja negra», sopesar exhaustivamente los impactos potenciales y los riesgos asociados, considerar opciones para herramientas de interpretabilidad suplementarias y formular un plan de acción para optimizar la explicabilidad.
  • Entendimiento Humano: Prestar atención tanto a las capacidades como a las limitaciones de la cognición humana al considerar las necesidades de interpretabilidad.

  Varias tareas pueden facilitar el diseño y la implementación de sistemas de IA transparentes y explicables, ayudando a la aclaración de los resultados para las partes interesadas:

  Tareas para la Gestión de la Garantía de Explicabilidad

  • Tarea 1: Seleccionar Explicaciones Prioritarias: Identificar los tipos de explicación más relevantes (Justificación, Responsabilidad, Datos, Imparcialidad, Seguridad, Impacto) en función del dominio, el caso de uso y el impacto potencial en los individuos.
  • Tarea 2: Recopilar y Pre-procesar: Recopilar y preparar los datos de una manera consciente de la explicación, considerando las fuentes de datos, la calidad y los sesgos potenciales. Esto ayuda a construir varias explicaciones.
  • Tarea 3: Diseño del Sistema para la Extracción de Información: Construir el sistema para extraer información relevante para una variedad de tipos de explicación, y para construir modelos interpretables. Utilizar la Selección y Entrenamiento del Modelo que depende de las necesidades de explicación, y también depende de la elección entre modelos más explicables y sistemas de «caja negra».
  • Tarea 4: Traducir la Justificación: Traducir la justificación del sistema, incorporándola a su proceso de toma de decisiones. Las implementaciones de los resultados de su sistema de IA deberán reconocer lo que es relevante para la decisión del resultado para un usuario afectado.
  • Tarea 5: Preparar a los Implementadores: Para asegurar que están utilizando el modelo de IA/ML de manera responsable y justa. La formación que reciben debe cubrir los fundamentos del aprendizaje automático, sus limitaciones y cómo gestionar los sesgos cognitivos.
  • Tarea 6: Construir y Presentar Explicaciones:, Considerar cómo deben proporcionarse las decisiones, y cómo otros individuos, en función del contexto, pueden esperar que se expliquen las decisiones como usuario de la tecnología automatizada asistida por IA. Estar abierto a explicaciones y detalles adicionales sobre los riesgos de ciertas acciones o escenarios.

  Abordar las Preocupaciones Regulatorias y las Consideraciones Éticas

  Al desarrollar sistemas de IA – y particularmente aquellos que manejan datos sensibles o decisiones de alto impacto – el cumplimiento con el UK GDPR y otras regulaciones es primordial. Aquí se explica cómo integrar la explicabilidad en un marco de cumplimiento:

  • Transparencia: Hacer obvio el uso de la toma de decisiones de IA/ML y explicar las decisiones lógicamente.
  • Responsabilidad Asegurar una supervisión apropiada, y ser considerado responsable tanto por organismos internos como externos sobre cualquier decisión asistida por IA/ML
  • Contexto : No hay una solución «única para todos» — adaptar las explicaciones al caso de uso y a la audiencia es crucial.
  • Impactos : Involucrar activamente la supervisión humana en los procesos de toma de decisiones para evitar efectos potencialmente dañinos para un usuario final.

  Estándares de Registro de Transparencia

  Las organizaciones pueden utilizar recursos como el Estándar de Registro de Transparencia Algorítmica (ATRS), que es un marco que captura información sobre herramientas algorítmicas y sistemas de IA. Esto ayuda a los organismos del sector público a publicar abiertamente información sobre los servicios que utilizan para los procesos de toma de decisiones.

  Compromisos entre Seguridad y Explicabilidad

  Tener cuidado con las contrapartidas entre seguridad y explicabilidad. Si bien la transparencia puede crear vulnerabilidades, la falta de ella plantea preocupaciones sobre el sesgo, la equidad y la rendición de cuentas. Equilibrar esto es esencial.

  ¿Cómo traducir la lógica de los resultados de un sistema de IA en razones fácilmente comprensibles?

  Traducir la lógica compleja de la IA en razones comprensibles es un desafío crucial, que exige una consideración cuidadosa del contexto, la audiencia y los posibles impactos. Así es como los periodistas tecnológicos recomiendan abordar esta traducción para la gobernanza y el cumplimiento de la IA:

  Comprender la explicación de la lógica

  El objetivo principal es dilucidar el ‘por qué’ detrás de una decisión de IA de una manera accesible. Esto involucra:

  • Demostrar cómo se comportó el sistema para llegar a la decisión.
  • Ilustrar cómo los diferentes componentes transformaron las entradas en salidas, destacando las características, interacciones y parámetros significativos.
  • Transmitir la lógica subyacente en términos fácilmente comprensibles para la audiencia prevista.
  • Contextualizar los resultados del sistema a la situación real de la persona afectada.

  Las explicaciones basadas en procesos aclaran el diseño y el flujo de trabajo de la implementación, centrándose en la interpretabilidad y la explicabilidad, incluida la recopilación de datos, la selección del modelo, la extracción de la explicación y la entrega. Las explicaciones basadas en resultados luego traducen el funcionamiento del sistema, incluidas las variables de entrada/salida y las reglas, al lenguaje cotidiano para aclarar el papel de los factores y los resultados estadísticos en el razonamiento sobre el problema.

  Máximas clave para la traducción

  Varios principios clave guían el proceso de traducción:

  • Sea transparente: Divulgue el uso de la IA de manera proactiva y explique las decisiones de manera significativa.
  • Sea responsable: Asigne responsabilidad por la explicabilidad y justifique las opciones de diseño. Asegúrese de que exista un punto de contacto humano para aclaraciones.
  • Considere el contexto: Adapte la gobernanza y la explicación del modelo en función de la experiencia, las vulnerabilidades y los requisitos de ajustes razonables de la audiencia.
  • Reflexione sobre los impactos: Aborde los propósitos y objetivos éticos del proyecto de IA en las evaluaciones iniciales y continuas.

  Navegando por la IA centrada en los niños

  Cuando los niños se ven afectados, las consideraciones adicionales son primordiales:

  • Las explicaciones técnicas deben entregarse utilizando un lenguaje apropiado para la edad.
  • Involucre a los niños en las etapas de diseño para familiarizarlos con los modelos y sus decisiones.
  • Asegúrese de una transparencia total sobre el uso de los datos de los niños en todo el sistema de IA.
  • Establezca roles y responsabilidades organizacionales para la rendición de cuentas, protegiendo y empoderando a los usuarios infantiles.

  Estrategias prácticas para la presentación de informes del modelo

  La presentación de informes del modelo juega un papel fundamental en la traducción de los resultados:

  • Reconozca los determinantes legítimos del resultado. Los implementadores deben reconocer los factores clave y determinar el resultado que se está describiendo.
  • Compruebe si las correlaciones producidas por el modelo tienen sentido en el caso de uso considerado.
  • Prepare a los implementadores enseñando los conceptos básicos del aprendizaje automático y las limitaciones de los sistemas automatizados.

  Implementación de una comunicación eficaz

  La comunicación de los resultados requiere una planificación cuidadosa:

  • Cree un breve resumen de las decisiones asistidas por IA, respaldado por gráficos, videos o recursos interactivos.
  • Garantice la accesibilidad y una comunicación clara para limitar los resultados inesperados.
  • Incluya referencias a las políticas relevantes durante todo el proceso.

  Plantilla de gestión de garantía de explicabilidad (EAM)

  La plantilla EAM consta de tareas específicas diseñadas para facilitar todo el proceso de explicación. Incluye explicaciones priorizadas, datos preprocesados ​​recopilados y un sistema identificado para extraer información relevante para una variedad de tipos de explicación.

  Gestión de riesgos y desafíos

  Deben tenerse en cuenta los posibles riesgos y recompensas, pero no garantizan una transparencia completa y justa para todos los casos de uso. Como escribirá el periodista tecnológico, «Los planes mejor trazados no pueden ser perfectos ni infalibles».

  ¿Cómo deben prepararse los implementadores de sistemas de IA para la implantación?

  La implantación responsable de sistemas de IA requiere una preparación cuidadosa, especialmente cuando la explicabilidad y la rendición de cuentas son primordiales. Los implementadores necesitan una comprensión exhaustiva de las capacidades y limitaciones del sistema para garantizar su aplicación ética y eficaz.

  Preparaciones clave para la implantación de sistemas de IA

  Los implementadores deben recibir una formación adecuada que abarque:

  • Fundamentos del aprendizaje automático: Una comprensión fundamental de cómo funcionan los algoritmos de aprendizaje automático.
  • Limitaciones de la IA: Reconocimiento de las limitaciones y posibles escollos de la IA y las tecnologías automatizadas de apoyo a las decisiones.
  • Análisis de riesgos y beneficios: Conciencia de los beneficios y riesgos asociados a la implantación de sistemas de IA para el apoyo a las decisiones.
  • Gestión de sesgos cognitivos: Técnicas para mitigar los sesgos cognitivos, como el sesgo de automatización (dependencia excesiva de los resultados de la IA) y el sesgo de desconfianza en la automatización (dependencia insuficiente de los resultados de la IA).

  Gestión de la garantía de la explicabilidad

  Una implantación exitosa también requiere una gestión exhaustiva de la garantía de la explicabilidad, que abarque estas tareas clave:

  • Priorización de las explicaciones: Determinación de los tipos de explicación más críticos (Fundamento, Responsabilidad, etc.) en función del dominio, el caso de uso y el posible impacto en las personas.
  • Recogida y preprocesamiento de datos: Garantizar la calidad, la representatividad de los datos y abordar los posibles sesgos durante la recogida y el preprocesamiento de los datos. Es fundamental incluir un etiquetado adecuado de los datos.
  • Diseño del sistema para la extracción de información: Construcción del sistema de IA para extraer información relevante para diversos tipos de explicación, reconociendo los costes y beneficios del uso de modelos de IA más nuevos pero posiblemente menos explicables.
  • Traducción del fundamento del modelo: Conversión del fundamento técnico de los resultados del sistema en términos comprensibles y justificación de la incorporación de inferencias estadísticas.
  • Elaboración y presentación de explicaciones fáciles de usar: Desarrollo de explicaciones que faciliten la colaboración entre los cuidadores y los miembros de la familia.

  Consideraciones cuando están involucrados datos de niños

  Cuando están en juego los datos o el bienestar de los niños, es fundamental tener en cuenta consideraciones adicionales:

  • Los implementadores deben recibir formación en diseño centrado en el niño, una conciencia que les ayudará a implementar salvaguardias que tengan en cuenta los requisitos y derechos especiales de los niños.
  • Comprensión de las normativas de protección de datos, como el Reglamento General de Protección de Datos (RGPD) y el Código de Diseño Adecuado a la Edad del ICO del Reino Unido.
  • Los implementadores también deben someterse a comprobaciones de antecedentes (por ejemplo, el Disclosure and Barring Service – DBS, que es el servicio de certificación de antecedentes del Reino Unido) y recibir formación para tratar y trabajar eficazmente con niños.

  Prepararse para la implantación significa algo más que una configuración técnica; significa cultivar un ecosistema de responsabilidad, equidad y transparencia.

  ¿Cómo se deben construir y presentar las explicaciones?
  

  A medida que los sistemas de IA se vuelven más frecuentes en la toma de decisiones, la necesidad de explicaciones claras y accesibles es primordial. Pero, ¿cómo construimos y entregamos estas explicaciones de manera efectiva?

  Explicaciones basadas en resultados vs. explicaciones basadas en procesos

  El primer paso es distinguir entre explicaciones basadas en resultados y explicaciones basadas en procesos:

  • Explicaciones basadas en resultados: se centran en los componentes y el razonamiento detrás de los resultados del modelo. Estas explicaciones tienen como objetivo aclarar por qué se tomó una determinada decisión. Deben ser accesibles, utilizando un lenguaje sencillo.
  • Explicaciones basadas en procesos: demuestran que tiene procesos de gobierno sólidos y que siguió las mejores prácticas de la industria durante el diseño, desarrollo e implementación del sistema de IA. Esto implica demostrar que la sostenibilidad, la seguridad, la equidad y la gestión responsable de datos se consideraron durante todo el ciclo de vida del proyecto.

  Ambos tipos son cruciales para generar confianza y garantizar la rendición de cuentas.

  Máximas clave de la explicabilidad de la IA

  Hay 4 máximas para mejorar la explicabilidad de su IA:

  • Transparencia: Sea franco sobre el uso de AI/ML en la toma de decisiones, incluyendo cómo, cuándo y por qué se está utilizando. Explique significativamente las decisiones con veracidad, apropiadamente y a tiempo.
  • Responsabilidad: Designe individuos o equipos responsables de supervisar los requisitos de «explicabilidad» de los sistemas de IA. Tenga un punto de contacto para aclarar o impugnar una decisión y tome activamente decisiones sobre cómo diseñar e implementar modelos AI/ML para que sean apropiadamente explicables.
  • Contexto: Reconozca que no existe un enfoque único para todos. El contexto considera varios elementos interrelacionados que tienen efectos en la explicación de las decisiones asistidas por AI/ML y el proceso general.
  • Reflexionar sobre los impactos: Identificar y reducir los efectos potencialmente dañinos en la toma de decisiones. Sea ético en el uso de los propósitos para no perjudicar el bienestar. Además, considere el bienestar social para salvaguardar la conexión humana.

  Tipos de explicaciones para los principios SSAFE-D

  Para ayudar a construir explicaciones concisas y claras en torno a los principios SSAFE-D (Sostenibilidad, Seguridad, Responsabilidad, Equidad, Explicabilidad y Administración de Datos), considere seis tipos de explicaciones:

  • Explicación de la razón fundamental: El «por qué» detrás de una decisión.
  • Explicación de la responsabilidad: «A quién» contactar para la revisión humana. Roles, funciones y rendición de cuentas para el modelo de IA.
  • Explicación de los datos: «Qué» se retiene y otros detalles de los datos que se utilizaron. Datos utilizados, recopilación y acceso de terceros. Preprocesamiento de datos y generalización.
  • Explicación de la equidad: Cómo se mitigó el sesgo y las medidas que se tomaron para garantizar las medidas correctas.
  • Explicación de seguridad: Maximizar la confiabilidad del rendimiento y que un tipo elegido de sistema de IA pueda compararse con otros sistemas.
  • Explicación del impacto: Efectos que un sistema de apoyo a las decisiones puede tener en un individuo o en la sociedad. Tranquilizar al público que es beneficioso.

  Pasos prácticos para construir explicaciones

  Una plantilla para la gestión de la garantía de explicabilidad para proyectos de IA se centra en:

  • Planificación de proyectos para el ciclo de vida de la IA
  • Extracción y preprocesamiento de datos
  • Selección y capacitación de modelos para una variedad de tipos de explicación.
  • Informes de modelos para razones fáciles de entender.
  • Capacitación del usuario para preparar a los implementadores para implementar el sistema de IA

  Consideraciones de alto nivel

  Hay cuatro consideraciones para los equipos que buscan lograr la explicabilidad para audiencias amplias y diversas:

  • Contexto, impacto potencial, necesidades específicas del dominio: ¿Qué tipo de aplicación y tecnología está utilizando?

  • Técnicas interpretables estándar: Encuentre los riesgos, necesidades y técnicas de AI/LM específicos del dominio correctos.

  • Sistemas de IA de caja negra: Consideraciones para una ponderación exhaustiva de los riesgos de impactos/riesgos potenciales. Considere herramientas de interpretabilidad suplementarias y planes de acción para mejorar la explicabilidad.

  • Interpretabilidad y comprensión humana: Concéntrese en las capacidades y limitaciones de la cognición humana para ofrecer un sistema de IA interpretable.

  Al centrarse en estas consideraciones, las organizaciones pueden construir sistemas de IA que sean efectivos y comprensibles, promoviendo la confianza y la rendición de cuentas.

  En última instancia, la búsqueda de la IA explicable no es meramente un desafío técnico, sino fundamentalmente humano. Al abordar diligentemente la transparencia, la rendición de cuentas, la conciencia contextual y los posibles impactos, especialmente para las poblaciones vulnerables como los niños, podemos avanzar hacia un futuro donde los sistemas de IA no solo sean herramientas poderosas, sino también socios de confianza en la configuración de un mundo más equitativo y comprensible. Las estrategias descritas aquí proporcionan una hoja de ruta para hacer que el funcionamiento interno de la IA sea más accesible, asegurando que sus decisiones no estén envueltas en misterio, sino iluminadas por la claridad y el propósito.