¿Cuál es el alcance apropiado para la auditoría algorítmica?
Una auditoría algorítmica socio-técnica de extremo a extremo (E2EST/AA) proporciona el enfoque más completo. Inspecciona un sistema de IA dentro de su contexto operativo real, examinando los datos específicos utilizados y los sujetos de datos afectados.
Este enfoque es crítico porque los sistemas de IA operan dentro de marcos sociales y organizacionales complejos, utilizando datos generados por individuos y sociedades. Descuidar estos aspectos socio-técnicos centrándose únicamente en cuestiones técnicas conduciría a evaluaciones incompletas y potencialmente dañinas.
¿Qué sistemas deben ser auditados?
El proceso E2EST/AA está diseñado para sistemas algorítmicos empleados en:
- Clasificación
- Reconocimiento de imágenes
- Procesamiento del lenguaje natural
Es aplicable a sistemas que toman decisiones sobre individuos o grupos utilizando fuentes de datos conocidas, independientemente de si se basan en el aprendizaje automático o en métodos informáticos más tradicionales. Esto abarca la mayoría de los sistemas utilizados tanto en el sector público como en el privado para:
- Asignación de recursos
- Categorización
- Identificación/verificación
…en campos como la salud, la educación, la seguridad y las finanzas. Las aplicaciones específicas incluyen la detección de fraudes, los procesos de contratación, la gestión de operaciones y las herramientas de predicción/evaluación de riesgos.
Más allá de la evaluación de sesgos
Si bien la evaluación de sesgos es central, E2EST/AA extiende su alcance. Investiga:
- Impacto social más amplio
- Conveniencia
- Inclusión de los usuarios finales en la fase de diseño
- Disponibilidad de mecanismos de recurso para los afectados
Para «pasar» una auditoría algorítmica, un sistema debe abordar cuestiones relacionadas con la proporcionalidad del impacto, la participación de las partes interesadas y la asignación de recursos.
Limitaciones
Una limitación fundamental de la auditoría algorítmica es que evalúa las implementaciones de sistemas existentes. No aborda la cuestión fundamental de si un sistema debería existir en primer lugar.
¿Cómo debe llevarse a cabo el proceso de una auditoría algorítmica socio-técnica de extremo a extremo?
Una auditoría algorítmica socio-técnica de extremo a extremo (E2EST/AA) es un proceso iterativo que implica una estrecha colaboración entre los auditores y el equipo de desarrollo de IA. Está diseñado para inspeccionar los sistemas de IA dentro de su implementación en el mundo real, las actividades de procesamiento y el contexto operativo, con un enfoque en los datos específicos utilizados y los sujetos de datos afectados.
Pasos Clave en el Proceso E2EST/AA
Aquí hay un desglose de los componentes centrales involucrados en la realización de una auditoría integral:
- Creación de la Ficha del Modelo: Los auditores comienzan recopilando y revisando información detallada a través de una «ficha del modelo». Este documento recopila detalles cruciales sobre el entrenamiento, las pruebas, las características y las motivaciones detrás del conjunto de datos elegido del modelo de IA. También sirve como un repositorio centralizado para la documentación esencial, incluidas las EIPD (Evaluaciones de Impacto de Protección de Datos), las aprobaciones éticas y los acuerdos de intercambio de datos.
- Desarrollo del Mapa del Sistema: A continuación, un mapa del sistema contextualiza el algoritmo, ilustrando las relaciones e interacciones entre el modelo algorítmico, el sistema técnico y el proceso general de toma de decisiones. El auditor diseña una versión inicial de esto, y el equipo de desarrollo la valida y la completa. En el marco de una investigación llevada a cabo por una Autoridad de Supervisión, se debe registrar la existencia de:
- Inventario del componente basado en IA auditado [Artículo 5.2]
- Identificación de responsabilidades [Capítulo IV]
- Transparencia [Artículo 5.1.a y Capítulo III – Sección 1, Artículos 13.2.f y 14.2.g del Capítulo III – Sección 2]
- Identificación de los propósitos y usos previstos [Artículo 5.1.b]
- Definición del contexto previsto del componente basado en IA [Artículo 24.1]
- Análisis de proporcionalidad y necesidad [Artículo 35.7.b]
- Definición de los destinatarios potenciales de los datos [Capítulo III; especialmente los Artículos 13.1.e y 14.1.e]
- Limitación del almacenamiento de datos [Artículo 5.1.e, excepciones Artículo 89.1]
- Análisis de las categorías de interesados [Artículo 35.9]
- Identificación de la política de desarrollo de componentes basada en IA [Artículo 24.1]
- Participación del Delegado de Protección de Datos (DPD) [Sección 4 del Capítulo IV]
- Ajuste de modelos teóricos básicos [Artículo 5.1.a]
- Idoneidad del marco metodológico [Artículo 5.1.a]
- Identificación de la arquitectura básica del componente basado en IA [Artículo 5.2]
- Identificación de Sesgos: Un paso fundamental es identificar los posibles momentos y fuentes de sesgo a lo largo del ciclo de vida del sistema de IA, desde el preprocesamiento hasta el procesamiento (inferencia) y el posprocesamiento (implementación). Los auditores deben documentar lo siguiente:
- Aseguramiento de la calidad de los datos [Artículo 5.1]
- Definición del origen de las fuentes de datos [Artículos 5 y 9]
- Preprocesamiento de datos personales [Artículo 5]
- Control de sesgos [Artículo 5.1.d]
- Pruebas de Sesgos: Basándose en la documentación recopilada y el acceso al equipo de desarrollo y los datos relevantes, el auditor diseña e implementa varias pruebas para detectar sesgos que podrían afectar negativamente a individuos, grupos o la funcionalidad general del sistema. Estas pruebas a menudo implican análisis estadísticos, la selección de métricas de equidad apropiadas y, potencialmente, el contacto con los usuarios finales o las comunidades afectadas.
- Adaptación del proceso de verificación y validación del componente basado en IA [Artículos 5.1.b y 5.2]
- Verificación y validación del componente basado en IA [Artículos 5.1.a y 5.1.b]
- Rendimiento [Artículo 5.1.d]
- Consistencia [Artículo 5.1.d]
- Estabilidad y robustez [Artículo 5.2]
- Trazabilidad [Artículos 5 y 22]
- Seguridad [Artículos 5.1.f, 25 y 32]
- Auditoría Adversaria (Opcional): Para los sistemas de alto riesgo, y especialmente aquellos que utilizan aprendizaje automático no supervisado, se recomienda encarecidamente una auditoría adversaria. Esto implica simular las condiciones del mundo real y los posibles ataques para descubrir vulnerabilidades y sesgos ocultos que pueden no ser evidentes durante las pruebas estándar.
El Informe de Auditoría: Garantizando la Transparencia y la Responsabilidad
La culminación del proceso de auditoría es la generación de informes integrales. Se deben generar tres tipos principales de informes de auditoría:
- Informe interno E2EST/AA: Los auditores redactan este informe para capturar el proceso seguido, los problemas identificados y las medidas de mitigación que se han aplicado o se pueden aplicar.
- Informe público E2EST/AA: Versión final del proceso de auditoría, donde los auditores describen el sistema, la metodología de auditoría, las medidas de mitigación y mejora implementadas y otras recomendaciones, si las hubiera.
- Informes periódicos E2EST/AA: Estos informes de auditoría de seguimiento deben proporcionar garantías de que los desarrolladores del sistema han seguido realizando pruebas de sesgo, implementando medidas de mitigación y controlando el impacto.
¿Qué conocimientos se pueden obtener al examinar los momentos y las fuentes de sesgo en un sistema de IA?
Analizar el sesgo en los sistemas de IA va más allá de simplemente identificar grupos protegidos y calcular el trato desigual. Un enfoque integral, como la Auditoría Algorítmica Sociotécnica de Extremo a Extremo (E2EST/AA), requiere examinar los momentos y las fuentes de sesgo a lo largo del ciclo de vida de la IA para prevenir resultados injustos e infracciones regulatorias.
Comprensión de los Momentos de Sesgo
La E2EST/AA identifica momentos clave en el ciclo de vida de la IA donde el sesgo puede infiltrarse:
- Preprocesamiento: Desde la recopilación inicial de datos («Mundo → Datos») hasta su transformación en variables utilizables («Muestra → Variables + Valores»), el sesgo puede provenir de cómo se recopilan los datos, quién está representado y cómo se estructura la información.
- Procesamiento interno (Inferencia del modelo): Aquí, los sesgos preexistentes pueden amplificarse a medida que la IA aprende patrones de los datos («Variables + Valores → Patrones») y hace predicciones («Patrones → Predicciones»).
- Postprocesamiento (Implementación del modelo): Los impactos del sesgo se manifiestan a medida que las predicciones se convierten en decisiones («Predicciones → Decisiones»), y esas decisiones impactan el mundo real («Decisiones → Mundo»).
Identificación de Fuentes de Sesgo
Señalar los orígenes del sesgo es crucial para una mitigación eficaz. La E2EST/AA destaca varias fuentes:
- Sesgo Tecnológico: Esto incluye el «Sesgo tecnosolucionista» (excesiva confianza en la tecnología), la «Simplificación excesiva», la «Caracterización parcial o sesgada» y el sesgo de «Variable omitida».
- Sesgo Relacionado con los Datos: «Sesgo de selección», «Sesgo histórico», «Sesgo de etiqueta», «Sesgo de generalización», «Sesgo estadístico», «Sesgo de medición», «Sesgo de privacidad» y «Sesgo de agregación» entran en esta categoría.
- Sesgo Cognitivo: «Sobreajuste y subajuste», «Falacia de la mano caliente» y «Sesgo de automatización» representan errores cognitivos en el desarrollo del modelo.
- Sesgo de Implementación: Consideraciones sobre el «Sesgo de prueba de referencia» y la «Visualización de datos».
Implicaciones Prácticas e Inquietudes Regulatorias
No identificar y abordar estos sesgos puede conducir a:
- Violación de los derechos individuales
- Refuerzo de estereotipos
- Decisiones ineficientes o perjudiciales
- Discriminación contra individuos y grupos
- Reproducción de desigualdades sociales
El auditor debe registrar la existencia de procedimientos documentados para gestionar y garantizar una gobernanza de datos adecuada, lo que permite verificar y proporcionar garantías de la exactitud, integridad, veracidad, actualización y adecuación de los conjuntos de datos utilizados para el entrenamiento, las pruebas y el funcionamiento.
spanish
¿En qué circunstancias una auditoría adversa es una adición beneficiosa al proceso?
El documento sugiere que las auditorías adversas, aunque opcionales, ofrecen un valor significativo en ciertos escenarios. Estas auditorías sirven como un respaldo fundamental, descubriendo problemas que incluso las metodologías de auditoría estándar más meticulosas podrían pasar por alto.
Sistemas de Alto Riesgo
Para los sistemas de IA de alto riesgo, y especialmente aquellos que emplean modelos de aprendizaje automático (ML) no supervisado, las auditorías adversas son «altamente recomendables». La complejidad y la opacidad de estos sistemas pueden dificultar el seguimiento de los atributos del modelo a través de medios convencionales. La ingeniería inversa, facilitada por las técnicas adversas, se convierte en un enfoque valioso.
Verificación de la Información de la Auditoría
Las auditorías adversas también son beneficiosas para verificar la integridad y la exactitud de la información proporcionada durante el proceso de auditoría inicial. Proporcionan una capa adicional de escrutinio, asegurando que no se pasen por alto posibles sesgos y riesgos.
Detección de Sesgos en el Mundo Real
Estas auditorías son particularmente efectivas para detectar:
- Variables omitidas que solo aparecen cuando el sistema de IA opera en entornos de producción del mundo real.
- Proxies que conducen a un trato injusto y otros impactos dañinos.
- Sesgo de aprendizaje: un fenómeno en el que los sistemas de ML no supervisado incorporan variables y etiquetas de los datos de entrenamiento que no se anticiparon inicialmente, lo que lleva a resultados negativos imprevistos. Estos solo se detectan a través del análisis de datos de impacto a gran escala.
Limitaciones de Acceso
Cuando las comunidades afectadas o los reguladores carecen de acceso directo a un sistema algorítmico, se pueden realizar auditorías adversas como evaluaciones independientes. Esto permite la verificación independiente del comportamiento y el impacto del sistema.
Técnicas de Recopilación de Datos
La realización de una auditoría adversa implica la recopilación de datos de impacto a escala, utilizando técnicas como:
- Extracción de fuentes web.
- Entrevistar a los usuarios finales.
- Recopilación de datos de usuarios finales mediante crowdsourcing.
- Emplear «sockpuppeting»: crear perfiles falsos con características específicas para activar y analizar los resultados del modelo.
En esencia, las auditorías adversas son más valiosas cuando se trata de sistemas de IA complejos y de alto riesgo, cuando se verifican los hallazgos de la auditoría y cuando se necesitan evaluaciones independientes debido a las limitaciones de acceso.
¿Cuáles son los componentes esenciales de un informe de auditoría eficaz?
Desde la perspectiva de un periodista tecnológico especializado en la gobernanza y el cumplimiento de la IA, el informe de auditoría es donde la teoría se pone en práctica. No se trata sólo de marcar casillas, sino de generar confianza y garantizar que los sistemas de IA se ajusten a los valores sociales y los marcos legales. Esto es lo que debe incluir un informe de auditoría de IA eficaz:
Informes de Auditoría Centrales
-
Informe interno E2EST/AA con medidas de mitigación y anexos: Este informe documenta el proceso de auditoría, identifica los problemas y detalla las estrategias de mitigación aplicadas o aplicables. Los auditores algorítmicos *deberían* ser proactivos, sugiriendo soluciones, supervisando la implementación e informando de los resultados finales.
-
Informe público E2EST/AA: Este es el documento de cara al exterior que describe el sistema, la metodología de auditoría, los esfuerzos de mitigación, las mejoras y las recomendaciones futuras. Fundamentalmente, debe proponer la frecuencia, la metodología (incluidas las métricas específicas) para las auditorías posteriores.
-
Informes periódicos E2EST/AA: Estos son seguimientos recurrentes. Deben hacer referencia al informe de auditoría inicial, confirmando que los desarrolladores han continuado con las pruebas de sesgo, han desplegado estrategias de mitigación y están haciendo un seguimiento del impacto.
En el marco de una investigación llevada a cabo por una Autoridad de Supervisión, los informes de auditoría eficaces deberían contener elementos que rastreen:
- Identificación y transparencia del componente basado en IA, historial de versiones de la evolución del componente de IA.
- Identificación de las responsabilidades asociadas a cada etapa de procesamiento.
- Transparencia de las fuentes de datos.
- Identificación de la definición de los propósitos previstos, el contexto de los posibles destinatarios de los datos, las limitaciones del almacenamiento de datos y el análisis de las categorías de interesados.
- Identificación de la política de desarrollo del componente basado en IA.
- Documentar modelos teóricos básicos.
- Documentar el marco metodológico.
- Documentar la arquitectura básica del componente basado en IA.
Elementos Clave para Todos los Informes:
Documentación: Todas las interacciones y documentos intercambiados deben ser recopilados y archivados por los propietarios del sistema y los auditores.
Gestión de Riesgos:
- Análisis de riesgo desarrollado en relación con los requisitos de seguridad y privacidad.
- Estándares y mejores prácticas tenidas en cuenta para la configuración segura y el desarrollo del componente de IA.
Perfiles de Explicabilidad Los informes de auditoría deben incluir la elaboración de perfiles de explicabilidad para explicar las consecuencias, garantizar la legibilidad del código, la compresión lógica y la coherencia interna.
Auditorías Periódicas: Dependiendo de la complejidad del sistema, pueden ser necesarias versiones periódicas de auditorías tanto internas como públicas.
