¿Cuáles son los compromisos centrales del marco con respecto a la transparencia, la documentación del modelo y los derechos de autor para los modelos de IA de propósito general?
Esta sección del Código de Conducta de la IA de Propósito General aborda la transparencia, la documentación del modelo y el cumplimiento de los derechos de autor para los modelos de IA de propósito general (GPAI). Describe compromisos y medidas específicas que tienen como objetivo alinearse con el Capítulo V de la Ley de IA.
Transparencia y Documentación
Compromiso I.1: Documentación Los proveedores se comprometen a mantener actualizada la documentación del modelo, según lo estipulado en el Artículo 53(1)(a) y (b) de la Ley de IA. Esto incluye proporcionar información relevante a los proveedores posteriores que integren el modelo GPAI en sus sistemas de IA y a la Oficina de IA previa solicitud.
Aspectos clave de este compromiso:
- Un Formulario de Documentación del Modelo fácil de usar simplifica el cumplimiento y garantiza una documentación sencilla.
- El documento especifica claramente si cada elemento listado está destinado a proveedores posteriores, la Oficina de IA o las autoridades nacionales competentes.
- La información destinada a la Oficina de IA o a las autoridades nacionales competentes solo se proporciona previa solicitud, indicando la base legal y el propósito.
- La información para los proveedores posteriores debe estar disponible para ellos de forma proactiva.
- Se requiere que los proveedores aseguren la calidad, la seguridad y la integridad de la información documentada.
Exención: Estas medidas no se aplican a los proveedores de modelos de IA de código abierto que cumplan las condiciones especificadas en el Artículo 53(2) de la Ley de IA, a menos que estos modelos estén clasificados como modelos GPAI con riesgo sistémico.
Cumplimiento de los Derechos de Autor
Compromiso I.2: Política de Derechos de Autor Para cumplir con la legislación de la Unión en materia de derechos de autor y derechos conexos en virtud del Artículo 53(1)(c) de la Ley de IA, los signatarios se comprometen a elaborar, mantener actualizada e implementar una política de derechos de autor.
Los elementos de este compromiso son:
- Desarrollar una política para cumplir con la legislación de la Unión en materia de derechos de autor y derechos conexos.
- Identificar y cumplir con las reservas de derechos expresadas de conformidad con el Artículo 4(3) de la Directiva (UE) 2019/790.
- Adoptar medidas para los modelos GPAI comercializados en el mercado de la UE, que incluyen:
- Reproducir y extraer únicamente contenido protegido por derechos de autor accesible legalmente al rastrear la web.
- Identificar y cumplir con las reservas de derechos.
- Obtener información adecuada sobre el contenido protegido que no sea rastreado por la web por el Signatario.
- Designar un punto de contacto y permitir la presentación de quejas.
- Implementar medidas para mitigar el riesgo de producción de resultados que infrinjan los derechos de autor.
Este Código de Conducta busca ayudar a los proveedores de IA a cumplir eficazmente con sus obligaciones en virtud de la Ley de IA, garantizando un alto nivel de transparencia y respetando las leyes de derechos de autor dentro de la UE.
¿Cuáles son los principios fundamentales que guían el desarrollo del Código de Conducta y cómo influyen en su estructura y contenido?
El Código de Conducta para la IA de Propósito General tiene como objetivo orientar el desarrollo y la implementación de modelos de IA dentro del marco de la Ley de IA de la UE. Aquí hay un desglose de los principios básicos que dan forma a su estructura y contenido:
Alineación con los Valores de la UE
El Código prioriza la adhesión a los principios y valores fundamentales de la UE, asegurando la alineación con la Carta de los Derechos Fundamentales, el Tratado de la Unión Europea y el Tratado de Funcionamiento de la Unión Europea.
Ley de IA y Armonización Internacional
El Código facilita la correcta aplicación de la Ley de IA, teniendo en cuenta los enfoques internacionales, incluidos los estándares y métricas desarrollados por los Institutos de Seguridad de la IA y las organizaciones de establecimiento de estándares, según el Artículo 56(1) de la Ley de IA.
Proporcionalidad a los Riesgos
El Código vincula la rigurosidad de los compromisos y las medidas al nivel de riesgo, exigiendo una acción más rigurosa cuando se enfrenta a niveles de riesgo más altos o al potencial de daños graves. Las estrategias específicas incluyen:
- Medidas Específicas: Centrarse en medidas específicas y ejecutables en lugar de proxies amplios y menos definidos.
- Diferenciación de Riesgos: Adaptar las estrategias de evaluación y mitigación de riesgos a diferentes tipos de riesgo, escenarios de implementación y métodos de distribución. Por ejemplo, la mitigación del riesgo sistémico podría diferenciar entre riesgos intencionales y no intencionales.
- Actualizaciones Dinámicas: Hacer referencia a fuentes dinámicas de información que se espera que los proveedores supervisen en su evaluación y mitigación de riesgos, incluidas las bases de datos de incidentes, los estándares de consenso, los registros de riesgos actualizados, los marcos de gestión de riesgos de última generación y la orientación de la Oficina de IA.
Preparación para el Futuro
Reconociendo el rápido ritmo del avance tecnológico, el Código pretende seguir siendo relevante mediante:
- Habilitar Actualizaciones Rápidas: Facilitar la adaptación y las actualizaciones rápidas para reflejar los desarrollos tecnológicos e industriales.
- Referenciar Información Dinámica: Señalar fuentes de información dinámica para la evaluación y mitigación de riesgos, como los marcos de gestión de riesgos de última generación.
- Abordar Modelos Emergentes: Considerar medidas adicionales para modelos específicos de IA de propósito general, incluidos los utilizados en sistemas de IA de agente.
Apoyo a las PYME
El Código reconoce los desafíos únicos que enfrentan las pequeñas y medianas empresas (PYME) y las startups, y tiene en cuenta sus limitaciones. Las medidas deben permitir métodos de cumplimiento simplificados para las PYME que carecen de los recursos de los desarrolladores de IA más grandes.
Apoyo al Ecosistema
El Código promueve la cooperación y el intercambio de conocimientos entre las partes interesadas a través de:
- Compartir Recursos: Permitir el intercambio de infraestructura de seguridad de la IA y las mejores prácticas entre los proveedores de modelos.
- Participación de las Partes Interesadas: Fomentar la participación de la sociedad civil, la academia, terceros y organizaciones gubernamentales.
Innovación en la Gobernanza y la Gestión de Riesgos
El Código fomenta la innovación reconociendo los avances en la gobernanza de la seguridad de la IA y la recopilación de pruebas. Los enfoques alternativos a la seguridad de la IA que demuestren resultados iguales o superiores con menos carga deben ser reconocidos y respaldados.
¿Cómo deben los proveedores de modelos de IA de propósito general con riesgo sistémico definir e implementar un Marco de Seguridad?
Para los proveedores de modelos de IA de propósito general con riesgo sistémico (GPAISRs), establecer un Marco de Seguridad robusto es fundamental para el cumplimiento de regulaciones como la Ley de IA. Este marco no es solo un conjunto de directrices, es un sistema dinámico construido para evaluar, mitigar y gobernar los riesgos asociados con modelos de IA potencialmente peligrosos.
Componentes Centrales del Marco
El marco debe detallar la evaluación del riesgo sistémico, la mitigación y las medidas de gobernanza destinadas a mantener los riesgos sistémicos derivados de los GPAISRs dentro de niveles aceptables. El marco debe incluir estos componentes:
- Criterios de Aceptación del Riesgo Sistémico: Criterios predefinidos para determinar si los riesgos sistémicos son aceptables. Estos criterios deben:
- Estar definidos para cada riesgo sistémico identificado.
- Incluir niveles de riesgo sistémico medibles.
- Especificar niveles de riesgo inaceptables, especialmente sin mitigación.
- Alinearse con las mejores prácticas de organismos internacionales o la guía de la Oficina de IA.
- Procedimientos de Evaluación y Mitigación del Riesgo Sistémico: Esquematizar cómo la empresa evaluará sistemáticamente los riesgos en diferentes puntos a lo largo del ciclo de vida del modelo, especialmente antes de la implementación.
- Previsión: Para cada nivel de riesgo sistémico que dependa de las capacidades específicas del modelo, indicar las estimaciones de los plazos en los que prevén razonablemente que habrán desarrollado por primera vez un GPAISR que posea tales capacidades, si tales capacidades aún no las posee ninguno de los modelos del Signatario ya disponibles en el mercado, para facilitar la preparación de mitigaciones de riesgos sistémicos apropiadas.
- Mitigación Técnica del Riesgo Sistémico: Los Signatarios deberán documentar en el Marco las mitigaciones técnicas del riesgo sistémico, incluidas las mitigaciones de seguridad, que tienen como objetivo reducir el riesgo sistémico asociado con el nivel de riesgo sistémico relevante.
- Mitigaciones del Riesgo de Gobernanza: Detallar las estructuras de gobernanza, los mecanismos de supervisión y los marcos de responsabilidad para la gestión de los riesgos sistémicos.
Implementación Práctica e Informes
La implementación del marco implica un proceso continuo de evaluación, adaptación e informes. Las consideraciones clave incluyen:
- Evaluaciones Periódicas de Adecuación: Determinar si el marco en sí es eficaz para evaluar y mitigar los riesgos sistémicos.
- Informes del Modelo de Seguridad: Estos informes deben documentar los resultados de la evaluación de riesgos, las estrategias de mitigación y las justificaciones de las decisiones de implementación, presentados a la Oficina de IA.
- Transparencia y Aportaciones Externas: el marco debe considerar las aportaciones de actores externos en su toma de decisiones con respecto a los riesgos sistémicos.
- Notificación de Incidentes Graves: Implementar procesos para rastrear, documentar y reportar a la Oficina de IA información relevante sobre incidentes graves a lo largo de todo el ciclo de vida del modelo y posibles medidas correctivas para abordarlos, con una asignación adecuada de recursos para dichos procesos en relación con la gravedad del incidente grave y el grado de implicación de su modelo.
- Transparencia Pública: Publicar información relevante para la comprensión pública de los riesgos sistémicos derivados de sus GPAISRs, cuando sea necesario para permitir eficazmente la evaluación y mitigación de los riesgos sistémicos.
Desafíos y Matices
Navegar por este panorama requiere una cuidadosa consideración de varios factores:
- Proporcionalidad: La evaluación y mitigación de riesgos debe ser proporcional a los riesgos específicos presentados por el modelo.
- Mantenerse al Día con el Estado del Arte: Implementar mitigaciones técnicas de seguridad de vanguardia que mitiguen mejor los riesgos sistémicos inaceptables, incluyendo las mejores prácticas generales de ciberseguridad, con el fin de cumplir al menos con el objetivo de seguridad RAND SL3.
- Colaboración: Compartir herramientas, prácticas y evaluaciones con otras organizaciones puede mejorar la seguridad general y reducir la duplicación de esfuerzos.
- Equipos Multidisciplinarios de Evaluación de Modelos: Asegurarse de que todos los equipos de evaluación de modelos tengan la experiencia necesaria para contribuir a la evaluación del modelo para la evaluación del riesgo sistémico.
Consideraciones Éticas
Finalmente, los proveedores NO deben tomar represalias contra ningún trabajador que proporcione información sobre los riesgos sistémicos derivados de los GPAISRs de los Signatarios a la Oficina de IA o, según corresponda, a las autoridades nacionales competentes, y deben informar al menos anualmente a los trabajadores de un buzón de correo de la Oficina de IA designado para recibir dicha información, si existe tal buzón.
¿Cuáles son los pasos cruciales para identificar, analizar y mitigar los riesgos sistémicos durante todo el ciclo de vida de los modelos de IA de propósito general?
El Código de Prácticas de IA propuesto por la UE, diseñado para guiar el cumplimiento de la Ley de IA, enfatiza un enfoque sistemático para gestionar los riesgos sistémicos asociados con los modelos de IA de propósito general (GPAISRs). Aquí hay un desglose de los pasos críticos, adaptados para profesionales de la gobernanza de la IA:
1. Establecer un Marco de Seguridad y Protección
Los proveedores de GPAISRs deben adoptar e implementar un Marco de Seguridad y Protección integral. Este marco debe detallar la evaluación de riesgos sistémicos, las estrategias de mitigación y las medidas de gobernanza diseñadas para mantener los riesgos dentro de niveles aceptables. Los componentes clave del marco incluyen:
- Criterios de Aceptación de Riesgo Sistémico: Criterios claramente definidos y justificados para determinar la aceptabilidad de los riesgos sistémicos, incluidos los niveles de riesgo medibles.
- Planes de Mitigación de Riesgos: Descripciones detalladas de las mitigaciones técnicas, sus limitaciones y los planes de contingencia para escenarios en los que las mitigaciones fallen.
2. Evaluación y Mitigación de Riesgos Sistémicos (Durante Todo el Ciclo de Vida)
Realizar evaluaciones de riesgos sistémicos en los puntos apropiados a lo largo de todo el ciclo de vida del modelo, comenzando durante el desarrollo. Este proceso involucra varias actividades clave:
- Planificación del Desarrollo: Implementar un marco y comenzar a evaluar/mitigar riesgos al planificar un GPAISR, o, a más tardar, 4 semanas después de notificar a la Oficina de IA.
- Revisiones de Hitos: Evaluar y mitigar los riesgos en hitos documentados durante el desarrollo, como después del ajuste fino, la expansión del acceso o la concesión de nuevas facilidades. Implementar procedimientos para identificar rápidamente cambios sustanciales en el riesgo.
3. Identificación de Riesgos Sistémicos
Seleccionar y caracterizar aún más los riesgos sistémicos derivados de los GPAISR que sean lo suficientemente significativos como para justificar una evaluación y mitigación adicionales. Las consideraciones cruciales incluyen:
- Cumplimiento de la Taxonomía: Seleccionar riesgos de una taxonomía definida de riesgos sistémicos (por ejemplo, ciberofensa, riesgos CBRN, manipulación dañina).
- Planificación de Escenarios: Desarrollar escenarios de riesgo sistémico para caracterizar la naturaleza y las fuentes. Estos deben incluir posibles vías hacia el daño y usos indebidos razonablemente previsibles.
4. Análisis de Riesgos Sistémicos
Realizar un análisis riguroso de los riesgos sistémicos identificados, estimando su gravedad y probabilidad. El análisis debe aprovechar múltiples fuentes y métodos:
- Estimaciones Cuantitativas y Cualitativas: Utilizar estimaciones cuantitativas y cualitativas del riesgo según corresponda, junto con indicadores de riesgo sistémico para rastrear el progreso hacia los niveles de riesgo.
- Evaluaciones de Última Generación: Ejecutar evaluaciones para evaluar adecuadamente las capacidades, propensiones y efectos de los GPAISR, utilizando una amplia gama de metodologías (por ejemplo, «red teaming», evaluaciones comparativas).
- Información Independiente del Modelo: Recopilar información de revisiones de literatura, datos históricos de incidentes y consultas con expertos.
5. Determinación de la Aceptación del Riesgo
Comparar los resultados del análisis de riesgo sistémico con los criterios de aceptación de riesgo predefinidos para garantizar la proporcionalidad. Utilizar estas comparaciones para informar las decisiones sobre el desarrollo, la comercialización y el uso. Si los riesgos se consideran inaceptables:
- Implementar mitigaciones adicionales: O no comercializar un modelo si corresponde.
- Restringir la comercialización: Retirar o recuperar un modelo del mercado si corresponde.
6. Mitigaciones de Seguridad y Protección (Técnicas)
Implementar mitigaciones técnicas de seguridad de última generación que sean proporcionales a los riesgos sistémicos, tales como: filtrar datos de entrenamiento, monitorear entradas/salidas, ajustar con precisión para rechazar ciertas solicitudes e implementar salvaguardias/herramientas de seguridad.
Específicamente:
- Implementar las mejores prácticas generales de ciberseguridad.
- Implementar procedimientos para evaluar y probar su preparación para la seguridad contra adversarios potenciales y reales. Esto incluye herramientas como revisiones de seguridad periódicas y programas de recompensas por errores («bug bounty programs»).
7. Gobernanza y Documentación
Varias medidas de gobernanza son cruciales para gestionar y supervisar eficazmente el proceso:
- Asignación Clara de Responsabilidad: Definir y asignar la responsabilidad de gestionar el riesgo sistémico en todos los niveles organizativos.
- Evaluaciones Externas Independientes: Obtener evaluaciones externas independientes de los GPAISR antes de comercializarlos.
- Notificación de Incidentes Graves: Establecer procesos para rastrear, documentar y notificar incidentes graves a la Oficina de IA sin demoras indebidas.
- Informes de Modelo: Crear Informes de Modelo de Seguridad y Protección detallados que documenten las evaluaciones de riesgos, las mitigaciones y las justificaciones para la comercialización.
- Transparencia Pública: Publicar información relevante para la comprensión pública de los riesgos sistémicos.
Al seguir diligentemente estos pasos, las organizaciones pueden navegar mejor por el complejo panorama de la gobernanza de la IA y fomentar un ecosistema de IA más responsable y confiable.
¿Qué principios fundamentales deberían guiar la implementación de herramientas y mejores prácticas para la evaluación de modelos de última generación y la evaluación de riesgos del sistema para todos los modelos?
El borrador del Código de Conducta de la IA de la Unión Europea, destinado a proporcionar un modelo para el cumplimiento de la exhaustiva Ley de IA, enfatiza varios principios fundamentales para implementar la evaluación de modelos de última generación y la evaluación de riesgos. Estos se aplican específicamente a los modelos de IA de propósito general con riesgo sistémico (GPAISR, por sus siglas en inglés), pero brindan información valiosa para todo el desarrollo de la IA. Aquí hay un desglose para los profesionales de LegalTech:
Principios y valores de la UE
Todas las herramientas y prácticas deben alinearse de manera demostrable con los derechos y valores fundamentales consagrados en la legislación de la UE, incluida la Carta de los Derechos Fundamentales.
Alineación con la Ley de IA y los enfoques internacionales
La evaluación del modelo y la evaluación de riesgos deben contribuir directamente a la correcta aplicación de la Ley de IA. Esto significa:
- Hacer referencia a estándares y métricas internacionales, como los desarrollados por los Institutos de Seguridad de la IA, de acuerdo con el Artículo 56(1) de la Ley de IA.
Proporcionalidad a los riesgos
La rigurosidad de las medidas de evaluación y mitigación debe ser directamente proporcional a los riesgos identificados. Este principio impulsa múltiples acciones clave:
- Medidas más estrictas para los niveles de mayor riesgo o riesgos inciertos de daños graves.
- Medidas específicas que definan claramente cómo los proveedores deben cumplir con las obligaciones.
- Diferenciación de medidas basadas en tipos de riesgo, estrategias de distribución, contextos de implementación y otros factores que influyen en los niveles de riesgo.
La Oficina de IA supervisará proactivamente las medidas susceptibles de elusión o especificación incorrecta.
Preparación para el futuro
Dada la rápida evolución de la tecnología de IA, las herramientas y prácticas deben facilitar las actualizaciones rápidas a la luz de los avances tecnológicos. Esto implica:
- Hacer referencia a fuentes de información dinámicas, como bases de datos de incidentes, estándares de consenso, registros de riesgos, marcos de gestión de riesgos y la guía de la Oficina de IA, que se espera que los proveedores supervisen.
- Articular medidas adicionales para modelos GPAI específicos (por ejemplo, aquellos utilizados en sistemas de IA de agentes) a medida que la tecnología lo exija.
Proporcionalidad al tamaño del proveedor
Las medidas deben tener en cuenta el tamaño y los recursos del proveedor del modelo de IA. La Ley de IA reconoce el valor y la necesidad de vías simplificadas para el cumplimiento para las pequeñas y medianas empresas (PYME) y las empresas emergentes.
Apoyo y crecimiento de una IA segura y centrada en el ser humano
El Código está diseñado para fomentar la cooperación entre las partes interesadas a través de una infraestructura de seguridad compartida y mejores prácticas. Las acciones incluyen:
- Compartir la infraestructura de seguridad y las mejores prácticas.
- Fomentar la participación de la sociedad civil, la academia, terceros y organizaciones gubernamentales.
- Promover la transparencia entre las partes interesadas y aumentar los esfuerzos de intercambio de conocimientos.
Innovación en la gobernanza de la IA y la gestión de riesgos
El Código alienta a los proveedores a innovar y hacer avanzar el estado del arte en la gobernanza de la seguridad de la IA. Los enfoques alternativos que demuestren resultados de seguridad iguales o superiores deben ser reconocidos y respaldados.
Compromiso con la documentación y la transparencia
Los signatarios del código se comprometen a elaborar y mantener actualizada la documentación del modelo, incluida la información sobre el proceso de formación y los datos utilizados, que esté disponible públicamente.
¿Cuáles son los requisitos de gobernanza y presentación de informes que deben seguir los proveedores de GPAISR para garantizar la rendición de cuentas y la transparencia?
El Código de Prácticas de la Ley de IA impone importantes obligaciones de gobernanza y presentación de informes a los proveedores de modelos de IA de propósito general con riesgo sistémico (GPAISR) para fomentar la rendición de cuentas y la transparencia. Estos requisitos están diseñados para garantizar que estos modelos, dadas sus capacidades de alto impacto, se desarrollen y desplieguen de forma responsable.
Informes de seguridad del modelo
Un requisito fundamental es la creación de un Informe de seguridad del modelo para cada GPAISR antes de que esté disponible en el mercado. Este informe debe documentar:
- Resultados de la evaluación y mitigación del riesgo sistémico.
- Justificaciones de las decisiones de lanzar el modelo.
El nivel de detalle requerido en el Informe del Modelo debe ser proporcional al nivel de riesgo sistémico que plantea el modelo. Esto permite a la Oficina de IA comprender cómo el proveedor está implementando sus medidas de evaluación y mitigación del riesgo sistémico. El informe debe definir las condiciones bajo las cuales las justificaciones para haber considerado aceptable el riesgo sistémico dejarían de ser válidas.
Documentación del cumplimiento y la gestión de riesgos
Más allá del Informe del Modelo, los GPAISR deben documentar meticulosamente su cumplimiento de la Ley de IA y el Código de Prácticas. Esa documentación incluye:
- Estimar si su modelo de IA ha cumplido con las condiciones de clasificación como GPAISR
- Las metodologías para identificar y abordar los riesgos sistemáticos, especialmente con respecto a las fuentes de dichos riesgos.
- Las limitaciones e imprecisiones al probar y validar los riesgos sistemáticos.
- Las cualificaciones y el nivel de los equipos de revisión de modelos internos y externos.
- La justificación para justificar el nivel de los riesgos sistémicos como aceptable.
- Cómo se cumplen, gestionan y siguen las restricciones de seguridad, así como los pasos dados para desarrollar los procedimientos establecidos para supervisarlos.
Es fundamental conservar dicha documentación durante un período de al menos doce meses y más allá de la retirada del modelo de IA.
Transparencia sobre el comportamiento previsto del modelo
Los informes de los modelos también deben especificar el comportamiento previsto del modelo, por ejemplo:
- Los principios que el modelo está diseñado para seguir.
- Cómo el modelo prioriza diferentes tipos de instrucciones.
- Temas sobre los que el modelo tiene la intención de rechazar instrucciones.
Marcos para la seguridad
Los signatarios deben preparar y mantener un Marco de seguridad que detalle la evaluación del riesgo sistémico, la mitigación y los procedimientos de gobernanza. Este marco debe incluir criterios de aceptación del riesgo sistémico que:
- Son medibles.
- Definen niveles de riesgo sistémico vinculados a las capacidades del modelo, los resultados perjudiciales y las estimaciones cuantitativas del riesgo.
- Identifican los factores desencadenantes y las condiciones del riesgo sistémico que requerirán mitigaciones para el riesgo sistémico específico.
Los marcos deben mejorarse continuamente, actualizarse rápidamente y reflejar dinámicamente el estado actual del arte en IA.
Notificaciones a la Oficina de IA
Se requiere que los GPAISR notifiquen a la Oficina de IA varios eventos clave:
- Cuando su modelo de IA de propósito general cumple con los criterios para la clasificación como GPAISR.
- Actualizaciones de su Marco de seguridad.
- Los resultados de las evaluaciones de adecuación.
- El lanzamiento de un Informe de seguridad del modelo.
Dichas notificaciones son necesarias para evaluar si el código se sigue adecuadamente y para garantizar un cumplimiento rápido.
Monitoreo y adaptación post-mercado
La gobernanza no termina con los informes previos al lanzamiento; los GPAISR deben llevar a cabo un monitoreo posterior al mercado para recopilar datos del mundo real sobre las capacidades y los efectos de sus modelos. Si hay cambios importantes en el sistema o en el panorama del riesgo sistémico, los proveedores deben actualizar sus informes de modelos y, cuando sea apropiado, reevaluar la situación, para que el modelo siga cumpliendo con las regulaciones.
Evaluación externa e interna
Además del monitoreo interno, los procesos de evaluación del riesgo sistémico deben incluir la opinión de actores externos, incluido el gobierno.
- Cuando un GPAISR está listo para ser lanzado al mercado, el modelo debe someterse a una evaluación externa, para todos los riesgos sistémicos detectados, antes de ser lanzado al mercado.
- Después de ser lanzado, un GPAISR requiere un programa de investigación que proporcione a los modelos acceso API. Los accesos deben otorgarse a académicos y equipos externos que realicen trabajos que estudien los riesgos sistemáticos y la actividad no comercial.
- Cualquier trabajo o comentario proporcionado por académicos y los equipos debe utilizarse para actualizar el código y la documentación de los GPAISR actuales.
Evaluación independiente
Se deben utilizar evaluadores externos para asegurarse de que se tenga en cuenta el sesgo en el proceso. Los evaluadores deben:
- Poseer la experiencia de dominio correcta para evaluar y validar el riesgo sistemático.
- Estar técnicamente versado y ser competente en la realización de la validación del modelo.
- Haber implementado sistemas de información internos y externos, que se prueban activamente y tener un informe actual para validar su integridad.
No represalias y gobernanza de riesgos
Se exige a los signatarios que no tomen represalias de ninguna forma contra los trabajadores que puedan compartir información o expresar preocupaciones. Necesitan tener una infraestructura segura en la práctica para permitir que las preocupaciones se planteen libremente, especialmente a la Oficina de IA como punto de contacto.
¿Cuáles son los elementos esenciales para un proceso de evaluación funcional e independiente del modelo de IA?
A medida que se acerca la fecha de implementación de la Ley de IA, los profesionales del sector legal-tech y los responsables de cumplimiento normativo se están centrando en las evaluaciones independientes de los modelos. ¿Qué deberían internalizar los proveedores de modelos de IA de propósito general con riesgo sistémico (GPAISRs) para garantizar un proceso de evaluación sólido?
Evaluaciones Externas Independientes
Antes de comercializar un GPAISR, los proveedores deben obtener evaluaciones de riesgos sistémicos externas independientes, que incluyan evaluaciones del modelo, a menos que se pueda demostrar que el modelo es suficientemente seguro. Tras la publicación en el mercado, es crucial facilitar evaluaciones externas independientes exploratorias, incluidas las evaluaciones del modelo. Esto subraya la necesidad de colaboración y transparencia.
Selección de Evaluadores Independientes
Los proveedores de GPAISR deben buscar evaluadores que:
- Tengan una experiencia significativa en el dominio, en consonancia con el dominio de riesgo que se está evaluando.
- Posean las habilidades técnicas y la experiencia necesarias para realizar evaluaciones rigurosas del modelo.
- Mantengan protocolos sólidos de seguridad de la información interna y externa, adecuados para el nivel de acceso concedido.
Facilitando Acceso y Recursos
Los proveedores deben proporcionar a los evaluadores externos independientes el acceso, la información, el tiempo y los recursos necesarios para llevar a cabo evaluaciones eficaces de los riesgos sistémicos. Esto puede significar el acceso a las capacidades de ajuste fino, herramientas de inferencia seguras y la documentación completa del modelo.
Manteniendo la Integridad
Para garantizar la validez de las evaluaciones externas independientes, éstas deben realizarse sin la influencia indebida del proveedor. Por ejemplo, los proveedores deben evitar almacenar y analizar las entradas y salidas del modelo de las pruebas sin permiso explícito.
Facilitar la Evaluación Posterior a la Comercialización
Los proveedores deben facilitar la investigación externa exploratoria después de que se publiquen los modelos GPAISR, mediante la implementación de un programa de investigación que proporcione acceso API a los modelos con y sin mitigaciones, la asignación de créditos API de investigación gratuitos para la investigación legítima y la contribución a un régimen de puerto seguro legal y técnico para proteger a los evaluadores que prueban el modelo.
Consideraciones Importantes para las PYME
Las pequeñas y medianas empresas (PYME) que tengan dificultades para cumplir con los estándares de calidad o cooperar con las partes interesadas pertinentes deben notificar a la Oficina de IA y solicitar asistencia para encontrar medios alternativos adecuados para cumplir con los requisitos.
Transparencia y Divulgación
Es importante lograr un equilibrio entre la transparencia pública y el mantenimiento de la seguridad mediante la divulgación de las mitigaciones de seguridad y las evaluaciones del modelo con el mayor detalle posible, al tiempo que se implementan las redacciones para evitar un mayor riesgo sistémico o información económica sensible.
¿Cómo se puede fomentar una cultura de riesgo saludable dentro de las organizaciones involucradas en el desarrollo e implementación de GPAISR?
Fomentar una cultura de riesgo saludable es clave para las organizaciones que desarrollan e implementan modelos de IA de Propósito General con Riesgo Sistémico (GPAISR). Según el borrador del Código de Prácticas, esto implica varios pasos interconectados:
Definir y Asignar Responsabilidades
Para las actividades relacionadas con la evaluación y mitigación del riesgo sistémico de sus GPAISR, los Signatarios se comprometen a: (1) definir y asignar claramente las responsabilidades para la gestión del riesgo sistémico de sus GPAISR en todos los niveles de la organización; (2) asignar los recursos apropiados a los actores a los que se les han asignado responsabilidades para la gestión del riesgo sistémico; y (3) promover una cultura de riesgo saludable.
Específicamente, el Código enfatiza las definiciones claras de responsabilidades, así como la asignación de recursos, en los diferentes niveles dentro de la organización:
- Supervisión del riesgo: Supervisar las actividades de evaluación y mitigación del riesgo de la organización.
- Propiedad del riesgo: Gestionar los riesgos sistémicos derivados de los GPAISR.
- Apoyo y monitoreo: Apoyar y monitorear la evaluación y mitigación de riesgos.
- Garantía: Proporcionar garantía interna (y externa, cuando sea necesario) con respecto a la idoneidad de las actividades relacionadas con la evaluación y mitigación del riesgo.
Las responsabilidades se asignan a través de:
- Órganos de gestión de supervisión
- Equipos de gestión
- Equipos operativos
- Proveedores de garantía, ya sean internos o externos
Asignación de recursos
Además, la organización debe asignar recursos a aquellos con responsabilidades de gestión, incluyendo:
- Recursos Humanos
- Recursos Financieros
- Acceso a información y conocimiento
- Recursos computacionales
Promover un enfoque medido y equilibrado
También es crucial cómo se conduce el liderazgo. Los signatarios promoverán una cultura de riesgo saludable y tomarán medidas para garantizar que los actores a los que se les han asignado responsabilidades para la gestión del riesgo sistémico derivado de los GPAISR (de conformidad con la Medida II.10.1) adopten un enfoque medido y equilibrado del riesgo sistémico, sin ser inadecuadamente buscadores de riesgo, ni ignorantes del riesgo, ni reacios al riesgo, según corresponda al nivel de riesgo sistémico derivado de los GPAISR de los signatarios.
Los objetivos finales a alcanzar incluyen un entorno de trabajo con comunicación abierta e incentivos sensatos:
- Establecer el tono con respecto a una cultura de riesgo sistémico saludable desde la cima;
- Permitir una comunicación eficaz y el desafío a las decisiones relativas al riesgo sistémico;
- Incentivos adecuados para desalentar la asunción excesiva de riesgos sistémicos, como recompensas por el comportamiento cauteloso y el marcaje interno de los riesgos sistémicos;
Idealmente, estos esfuerzos deberían llevar a que el personal se sienta cómodo comunicando posibles problemas relacionados con su trabajo:
- Las encuestas anónimas revelan que el personal conoce los canales de denuncia, se siente cómodo planteando preocupaciones sobre los riesgos sistémicos, comprende el marco del Signatario y se siente cómodo hablando; o
- Los canales internos de denuncia se utilizan activamente y los informes se tramitan adecuadamente.
¿Cuáles son los requisitos críticos para informar y abordar incidentes graves relacionados con los MPAISR?
A medida que la Ley de IA de la UE se acerca a su entrada en vigor, la atención se centra en la notificación de incidentes para los modelos de IA de propósito general con riesgo sistémico (MPAISR). Aquí hay un resumen de los requisitos clave, extraídos directamente del último borrador del Código de Prácticas de la IA:
Seguimiento Integral de Incidentes
Los proveedores de MPAISR deben establecer procesos sólidos para rastrear, documentar y notificar incidentes graves a la Oficina de IA (y potencialmente a las autoridades nacionales) sin demoras indebidas. Estos procesos necesitan recursos suficientes, en relación con la gravedad del incidente y la participación de su modelo. Los métodos para identificar incidentes graves deben alinearse con sus modelos de negocio.
Datos Esenciales a Informar
La documentación debe abarcar detalles relevantes, incluyendo:
- Fechas de inicio y fin (o mejores aproximaciones)
- Daño resultante y partes afectadas
- La cadena de eventos que condujeron al incidente
- La versión específica del modelo involucrada
- Descripción de la participación del MPAISR
- Respuestas previstas o aplicadas
- Recomendaciones para la Oficina de IA y las autoridades nacionales
- Un análisis de causa raíz, que detalle las salidas y los factores contribuyentes
- Cualquier cuasi accidente conocido
Escalamiento y Plazos de Notificación
El Código especifica plazos estrictos para informar incidentes dependiendo de la gravedad:
- Interrupción de Infraestructura Crítica: Notificación inmediata, no más tarde de 2 días
- Daño Físico Grave: Notificación inmediata, no más tarde de 10 días
- Infracciones de Derechos Fundamentales, Daños a la Propiedad/Medio Ambiente: Notificación inmediata, no más tarde de 15 días
- Incidentes de Ciberseguridad, Exfiltración de Modelos: Notificación inmediata, no más tarde de 5 días
Los informes iniciales deben cubrir la información básica. Se requieren informes intermedios, que detallen el progreso cada 4 semanas hasta la resolución. Un informe final y completo vence a más tardar 60 días después de la resolución del incidente. Las empresas también deben decidir si presentar informes individuales o informes consolidados cuando ocurran múltiples incidentes.
Documentación y Retención Proactivas
Mantenga documentación meticulosa de todos los datos relevantes durante al menos 36 meses a partir de la fecha de documentación o la fecha del incidente grave notificado que involucra el modelo de IA de propósito general, lo que sea posterior.
Medidas Correctivas
Se espera que los signatarios tengan procesos de resolución y comunicación claramente definidos y escalables. Estos deberían poder aplicar la mitigación técnica de riesgos necesaria cuando ocurran incidentes de MPAISR, o se prevean.
En resumen, la transparencia y la documentación son clave. Estas medidas tienen como objetivo crear responsabilidad en torno a los riesgos sistémicos, al tiempo que promueven colaboraciones entre las partes interesadas para la gobernanza de los MPAISR.
¿Cuáles son las obligaciones con respecto a las protecciones contra represalias para los trabajadores y cómo informarlos?
La Ley de IA enfatiza las protecciones contra represalias para los trabajadores que informen sobre posibles riesgos sistémicos asociados con modelos de IA de propósito general que puedan clasificarse como de riesgo sistémico (IAGPGSR).
Obligaciones Principales
Los signatarios del Código de Buenas Prácticas de IA de Propósito General se comprometen a lo siguiente:
- No Represalias: Abstenerse de cualquier acción de represalia contra los trabajadores que proporcionen información sobre riesgos sistémicos derivados de los IAGPGSR de la empresa. Esto se aplica si la información se comparte con la Oficina de IA o las autoridades nacionales competentes.
- Notificación Anual: Informar a los trabajadores al menos anualmente sobre la existencia de un buzón de correo de la Oficina de IA (si existe) designado para recibir información relacionada con riesgos sistémicos.
Consideraciones Importantes
El cumplimiento de los compromisos de no represalias no debe interpretarse como una sustitución de las leyes de la Unión sobre derechos de autor y derechos conexos. En los casos de modelos de IA de propósito general con riesgo sistémico (IAGPGSR) es muy importante fomentar un análisis más profundo con la Oficina de IA.
Este compromiso tiene como objetivo fomentar la transparencia y la rendición de cuentas al garantizar que las personas dentro de las organizaciones puedan plantear preocupaciones sobre la seguridad de la IA sin temor a represalias.
¿Cuáles son los aspectos cruciales que debe detallar el modelo a la oficina de la IA para que este cumpla con los requisitos del Código?
Para que los modelos de IA cumplan con los requisitos del Código, los proveedores deben proporcionar a la Oficina de IA detalles exhaustivos. Estos abarcan:
Transparencia y Documentación
Los signatarios deben proporcionar documentación del modelo fácil de usar, utilizando potencialmente un Formulario de Documentación del Modelo. Esto incluye:
- Información general del modelo (por ejemplo, nombre del modelo, versión, fecha de lanzamiento)
- Detalles sobre las propiedades del modelo (arquitectura, modalidades de entrada/salida, tamaño)
- Información sobre los canales de distribución y las licencias
- Políticas de uso aceptable y usos previstos
- Especificaciones para los procesos de entrenamiento y los datos utilizados (incluidas las medidas para detectar contenido perjudicial y sesgos).
- Recursos computacionales utilizados durante el entrenamiento.
- Información adicional para modelos de IA de propósito general con riesgo sistémico, como estrategias de evaluación, resultados de pruebas adversarias y detalles de la arquitectura del sistema.
La información debe presentarse de forma proactiva para los proveedores de IA descendentes, pero solo a petición de la Oficina de IA y de las autoridades nacionales competentes, garantizando la base jurídica y la necesidad adecuadas.
Todos los datos compartidos requieren una adhesión rigurosa a las obligaciones de confidencialidad y las protecciones de secretos comerciales, tal como se subraya en el Artículo 78.
Gestión del Riesgo Sistémico (Aplicable a los GPAISR)
Para los modelos considerados de riesgo sistémico, se debe presentar un Marco de Seguridad Integral, que detalle:
- Criterios de aceptación del riesgo sistémico, incluidos niveles de riesgo definidos por características mensurables (capacidades del modelo, propensiones, resultados perjudiciales).
- Evaluaciones detalladas del riesgo sistémico a lo largo del ciclo de vida del modelo.
- Medidas técnicas y de gobernanza para mitigar el riesgo.
- Evaluaciones periódicas de la adecuación del Marco para evaluar la eficacia y mejorar con el tiempo.
- Informes del Modelo de Seguridad: documentando la evaluación de riesgos, los resultados de la mitigación y la toma de decisiones. Los detalles del Informe del Modelo deben justificar las decisiones de lanzar el modelo.
Notificación de Incidentes Graves
Establecer procesos integrales para:
- Rastrear y documentar información relevante sobre incidentes graves, cubriendo aspectos desde las fechas de inicio/fin del incidente hasta el análisis de la causa raíz y las medidas correctivas.
- Informar a la Oficina de IA de la UE sin demora indebida, con plazos sensibles a la gravedad del incidente.
Transparencia de los Procesos
El modelo debe proporcionar:
- Una descripción de la toma de decisiones (externa o interna).
- Calificaciones, niveles de acceso y recursos para los equipos de evaluación de modelos internos y externos.
- Colaboración con otras partes interesadas en la cadena de valor de la IA.
- Protecciones de adecuación y no represalias para el trabajador que proporciona retroalimentación a la Oficina de IA
Otros Aspectos de Cumplimiento
Además, se deben seguir varios requisitos clave de notificación para garantizar que la Oficina de IA tenga información adecuada sobre los modelos desarrollados por la empresa:
- Notificación proactiva sobre modelos que califiquen, incluso si están destinados para uso interno.
- Actualizaciones oportunas sobre los cambios en el marco y las evaluaciones independientes.
- Transparencia con respecto al intercambio de herramientas de seguridad y mejores prácticas con la comunidad de IA en general.
Los proveedores deben asignar los recursos adecuados para gestionar el riesgo sistémico. Esto incluye garantizar una cultura de riesgo saludable con responsabilidades claras en toda la organización.
Estas obligaciones se complementan con la implementación de las medidas que se encuentran en la sección de Transparencia, Derechos de Autor o Seguridad en documentos adjuntos separados del código.
¿Cuáles son los procesos definidos para actualizaciones de código regulares y urgentes?
El Código de Práctica de IA de Propósito General propuesto reconoce la necesidad de agilidad en la gobernanza de la IA. A medida que la tecnología de IA continúa evolucionando, el documento describe mecanismos para la revisión regular, la adaptación e incluso las actualizaciones de emergencia del Código. Esto garantiza que sus disposiciones sigan siendo proporcionales a los riesgos evaluados y tecnológicamente relevantes.
Revisión y Adaptación Regular
El Código propone un ciclo de revisión regular, que se realiza cada dos años. Este proceso exhaustivo, que será impulsado por la Oficina de IA, permite una revisión completa del código. Esta revisión está diseñada para adaptarse a las mejores prácticas actuales de IA, los enfoques internacionales y el desarrollo de estándares de la industria.
Después de cada revisión, la Oficina de IA confirmará la adecuación del Código para los Signatarios.
Apoyo Continuo a la Implementación
Reconociendo la importancia de la aclaración continua, el documento deja espacio para el apoyo continuo a la implementación a través de la orientación de la Oficina de IA. Como se indica en el Preámbulo del Código, esta orientación garantiza la coherencia entre los protocolos existentes, las prácticas del mundo real y las disposiciones del Artículo 96, Ley de IA.
Actualizaciones de Emergencia
Significativamente, la documentación alude a mecanismos para actualizaciones de código de emergencia. Activadas por «una amenaza inminente de daño irreversible a gran escala», estas actualizaciones se emitirían rápidamente para mitigar los efectos negativos.
Además de todos los pasos y requisitos descritos anteriormente, se recomienda que:
- Las actualizaciones de emergencia estén sujetas a la revisión de la Oficina de IA para confirmar la prevención de daños irreversibles a gran escala.
- La Oficina de IA invita activamente a las partes interesadas a que aporten sus opiniones sobre el mecanismo para estas actualizaciones y sugerencias sobre qué foros son adecuados para la promulgación de actualizaciones de emergencia del Código.
