¿Cuáles son los principios subyacentes que guían el desarrollo de estrategias eficaces de mitigación de riesgos de la IA?
El Instituto de Seguridad y Tecnología (IST) enfatiza cinco principios rectores para elaborar estrategias eficaces de mitigación de riesgos de la IA. Estos principios reconocen la rápida evolución de la IA y las diversas perspectivas necesarias para gobernarla de manera responsable.
Los principios rectores:
- Equilibrio entre innovación y aversión al riesgo: Esforzarse por una innovación responsable. Priorizar la identificación, evaluación y mitigación de riesgos para alinear el desarrollo de la IA con la seguridad, la ética y la fiabilidad.
- Responsabilidad compartida: Involucrar a todas las partes interesadas (responsables políticos, desarrolladores de IA, usuarios y la sociedad civil) en los esfuerzos colaborativos de mitigación de riesgos. Las perspectivas y la experiencia únicas de cada grupo son cruciales.
- Compromiso con la precisión: Centrarse en el desarrollo de modelos de IA que proporcionen información fiable y objetiva. Evitar la censura, la alteración de los hechos o el compromiso de la verdad para lograr los resultados deseados.
- Regulación factible: Asegurarse de que la supervisión reglamentaria tenga en cuenta la viabilidad técnica. Colaborar con expertos y partes interesadas en IA para implementar mecanismos eficaces y técnicamente factibles.
- Supervisión adaptable y continua: Desarrollar marcos regulatorios que sigan el ritmo de los avances tecnológicos. Incorporar mecanismos para la revisión periódica, el perfeccionamiento, el monitoreo continuo y la supervisión.
Estos principios, resultantes de amplias discusiones con los miembros del grupo de trabajo, tienen como objetivo fomentar un enfoque equilibrado, colaborativo y proactivo de la gobernanza de la IA. Reconocen la necesidad de marcos regulatorios y mecanismos de supervisión adaptables, factibles y en continua evolución. El IST reconoce la importancia de fomentar la innovación al tiempo que se prioriza la seguridad y la ética.
La aplicación del Marco del Ciclo de Vida de la IA de acuerdo con estos principios rectores garantiza intervenciones específicas, factibles y prácticas a lo largo del desarrollo e implementación de la IA.
¿Qué metodología se empleó para analizar los riesgos de uso malicioso dentro del panorama de la IA?
El IST comenzó su análisis de los riesgos de uso malicioso examinando primero las tendencias generales de estos comportamientos malévolos, ignorando el uso de la tecnología de IA, para construir una comprensión de los ecosistemas y patrones de comportamiento que rodean a cada categoría. En segundo lugar, examinó el estado actual del uso malicioso de las tecnologías de IA en cada categoría para determinar cómo estas nuevas tecnologías de IA se están aplicando a los patrones de comportamiento existentes. En tercer lugar, y finalmente, el IST adoptó un enfoque orientado al futuro, para determinar cómo, con las tecnologías existentes y más avanzadas, las herramientas de IA podrían aplicarse a cada categoría.
El objetivo era establecer un contexto histórico claro para cada caso de uso malicioso, de modo que los analistas y los responsables de la formulación de políticas pudieran entonces superponer los sistemas de IA en la mezcla. La comprensión de los patrones históricos y actuales de los comportamientos maliciosos permite hacer predicciones sobre el futuro, específicamente, cómo los sistemas de IA pueden encajar, o exacerbar, los patrones existentes de actividad maliciosa.
Categorías Específicas de Riesgo de Uso Malicioso
El informe identificó cinco riesgos clave que se incluyen en la categoría de uso malicioso, examinando cada uno de ellos utilizando la metodología descrita anteriormente:
- Fraude y otros esquemas delictivos habilitados por contenido de ingeniería social generado por IA, particularmente cuando se dirige a poblaciones en riesgo.
- Socavar la cohesión social y los procesos democráticos a través de campañas de desinformación dirigidas.
- Abusos contra los derechos humanos al expandir la capacidad de los estados autoritarios para vigilar, restringir y oprimir a las minorías y a los disidentes.
- Interrupción de la infraestructura crítica proporcionando a los actores maliciosos capacidades cibernéticas ofensivas.
- Conflicto estatal contribuyendo a las capacidades de los estados adversarios o revanchistas que buscan ventajas en el conflicto.
¿Cómo aborda el Marco del Ciclo de Vida de la IA los riesgos específicos de uso malicioso?
El Marco del Ciclo de Vida de la IA aborda los riesgos de uso malicioso dividiendo el proceso de desarrollo de la IA en siete etapas, lo que permite intervenciones específicas en cada punto.
Así es como funciona, con ejemplos de estrategias de mitigación de riesgos:
Recolección y preprocesamiento de datos
Esta etapa se centra en la obtención y preparación de datos. El marco sugiere exigir transparencia en el abastecimiento de datos para que los grandes laboratorios eviten el uso de datos no éticos. También implica la implementación de protocolos rigurosos de validación y saneamiento de datos para eliminar anomalías que podrían sesgar el modelo hacia aplicaciones maliciosas. El empleo de técnicas de IA que preservan la privacidad, como el aprendizaje federado, minimiza aún más el riesgo de explotación de datos.
Arquitectura del modelo
Aquí, el marco aboga por crear incentivos para el desarrollo seguro de la IA y compartir las mejores prácticas entre los principales laboratorios e investigadores. Esto ayuda a prevenir el robo de propiedad intelectual y modelos líderes que pueden permitir conflictos estatales al proporcionar a los estados adversarios acceso a modelos de IA líderes. Proporcionar protecciones legales y programas de recompensas a los denunciantes por identificar comportamientos poco éticos o maliciosos dentro de las organizaciones de IA protege contra el robo de propiedad intelectual o el empleo de conjuntos de datos maliciosos.
Entrenamiento y evaluación del modelo
La prioridad cambia a la detección de vulnerabilidades. El marco sugiere auditorías de seguridad periódicas obligatorias y pruebas de penetración de los entornos de capacitación de IA. También aconseja establecer programas de recompensas por errores para encontrar y corregir vulnerabilidades. El «red teaming», incluidas las pruebas adversarias, ayuda a simular escenarios de uso malicioso y abordar cualquier debilidad identificada.
Despliegue del modelo
Esta etapa enfatiza la monitorización continua. El marco recomienda el uso de técnicas de aprendizaje automático para detectar intrusiones o usos indebidos en tiempo real. Los mecanismos de detección de anomalías deben integrarse en la arquitectura del modelo, con alertas configuradas para posibles usos indebidos.
Aplicación del modelo
La protección contra acciones maliciosas autónomas es clave. El marco exige la supervisión y el control humanos, especialmente en aplicaciones de alto riesgo. La imposición de restricciones sobre los tipos de aplicaciones que pueden utilizar modelos fundacionales reduce la probabilidad de que la IA se utilice con fines maliciosos a través de servicios comerciales ampliamente disponibles. También es fundamental realizar pruebas de «red team» para identificar y abordar las vulnerabilidades.
Interacción del usuario
Deben aprovecharse las medidas legales existentes para abordar el uso indebido. Los usuarios que utilizan la IA para cometer delitos deben ser considerados responsables según el derecho penal existente, lo que permite a los organismos de aplicación actuar de inmediato contra el comportamiento delictivo en lugar de esperar a que se aprueben leyes específicas relacionadas con la IA.
Monitorización y mantenimiento continuos
Mantener la vigilancia es crucial. El marco enfatiza el establecimiento de mecanismos de denuncia claros para sospechas de fraude o uso malicioso. Estos mecanismos deben ser bien publicitados y revisados regularmente. Además, la monitorización continua mediante el aprendizaje automático ayuda a detectar y responder a las amenazas en tiempo real.
Al abordar el riesgo en cada etapa, el Marco del Ciclo de Vida de la IA se esfuerza por lograr un equilibrio. Fomenta la innovación al tiempo que minimiza los daños, reconoce la responsabilidad compartida entre las partes interesadas, se compromete con la precisión y promueve una regulación práctica con supervisión continua.
¿En qué puntos del ciclo de vida de la IA son más cruciales las estrategias de mitigación de riesgos?
A medida que las tecnologías de IA evolucionan rápidamente, comprender dónde implementar estrategias de mitigación de riesgos dentro del ciclo de vida de la IA es primordial. El Marco del Ciclo de Vida de la IA tiene como eje central siete etapas distintas: recopilación y preprocesamiento de datos, arquitectura del modelo, entrenamiento y evaluación del modelo, despliegue del modelo, aplicación del modelo, interacción del usuario y monitoreo y mantenimiento continuos.
Identificar puntos de intervención eficaces requiere reconocer los matices de los riesgos y mitigaciones «ascendentes» frente a los «descendentes»:
- Riesgos Ascendentes: Estos son inherentes al modelo en sí, derivados de su entrenamiento y desarrollo.
- Riesgos Descendentes: Estos emergen de las interacciones de los usuarios con el modelo.
- Mitigaciones Ascendentes: Estrategias dirigidas al desarrollo del modelo y al entrenamiento previo al despliegue.
- Mitigaciones Descendentes: Estrategias centradas en la liberación del modelo, el ajuste fino, el desarrollo de la aplicación y la interacción del usuario.
El Marco del Ciclo de Vida de la IA ayuda a garantizar que las mitigaciones de riesgos sean técnicamente viables, procesables y específicas, alineándose con los principios fundamentales de la gobernanza de la IA. Este enfoque requiere la participación de diversas partes interesadas, lo que permite elecciones precisas e informadas que protegen la innovación al tiempo que reducen eficazmente los riesgos.
Recopilación y preprocesamiento de datos
Los datos de alta calidad son primordiales para entrenar modelos de IA eficientes. Una mala calidad de los datos puede conducir a modelos sesgados o inexactos, lo que reduce la eficacia de la aplicación de la IA. En esta etapa, la mitigación de riesgos incluye:
- Transparencia en el Abastecimiento de Conjuntos de Datos: Requerir que los grandes laboratorios revelen los orígenes de los conjuntos de datos, promoviendo el uso ético de los datos.
- Validación y Desinfección de Datos: Utilizar protocolos para detectar y eliminar puntos de datos sospechosos.
- Técnicas de IA que preservan la privacidad: Emplear el aprendizaje federado y la computación multipartita segura para proteger los datos sensibles.
Arquitectura del modelo
Una arquitectura bien diseñada es clave para el rendimiento, la escalabilidad y la seguridad del modelo de IA. Las estrategias enfocadas incluyen:
- Mesas Redondas de IA: Apoyar foros para que los investigadores compartan las mejores prácticas.
- Estándares de Seguridad Robustos: Hacer cumplir los estándares de seguridad para que los laboratorios líderes protejan la propiedad intelectual.
- Incentivos en Efectivo, Computación o Subvenciones: Proporcionar a los investigadores involucrados en proyectos de colaboración destinados a compartir conocimientos y mejores prácticas en el desarrollo seguro de la IA.
- Protecciones Legales y Programas de Recompensas para Denunciantes: Implementar fuertes protecciones legales para informar sobre el uso poco ético o malicioso de las tecnologías de IA dentro de las organizaciones.
- Técnicas de IA que preservan la privacidad: Emplear el aprendizaje federado y la computación multipartita segura para proteger los datos sensibles.
Entrenamiento y evaluación del modelo
Un entrenamiento y una evaluación rigurosos son vitales para los modelos de IA fiables, ayudando a abordar el sobreajuste, el subajuste y los sesgos. Los esfuerzos de mitigación deben incluir:
- Auditorías de Seguridad Regulares y Pruebas de Penetración: Obligatorias para identificar vulnerabilidades.
- Fuertes Protecciones Legales y Programas de Recompensas para Denunciantes: Implementar fuertes protecciones legales para informar sobre el uso poco ético o malicioso de las tecnologías de IA dentro de las organizaciones.
- Programas de recompensas por errores: Crear programas de recompensas por errores para identificar debilidades en metodologías conocidas.
- Red Teaming: Llevar a cabo para simular e identificar posibles escenarios de uso malicioso.
Despliegue del modelo
Un despliegue eficaz garantiza que los modelos de IA se utilicen con eficacia. Las mitigaciones de riesgos aquí deben considerar:
- Fuertes Protecciones Legales y Programas de Recompensas para Denunciantes: Implementar fuertes protecciones legales para informar sobre el uso poco ético o malicioso de las tecnologías de IA dentro de las organizaciones.
- Monitoreo Continuo con Técnicas de Aprendizaje Automático: Emplear el aprendizaje automático para detectar intrusiones.
- Detección de Anomalías y Monitoreo Continuo en la Arquitectura del Modelo: Implementar para la identificación en tiempo real de actividades maliciosas.
Aplicación del modelo
Un desarrollo de la aplicación impactante garantiza el uso adecuado de la tecnología de IA. Las mitigaciones enfocadas incluyen:
- Supervisión Humana y Mecanismos de Control: Obligatoria para casos de uso de alto riesgo para prevenir acciones maliciosas totalmente autónomas.
- Restricciones en el Uso de Modelos Fundacionales: Hacer cumplir las restricciones en los tipos de aplicaciones a través de acuerdos de desarrolladores y políticas de tiendas de aplicaciones.
- Pruebas de Equipo Rojo: Llevar a cabo para simular e identificar posibles escenarios de uso malicioso.
Interacción del usuario
Las interacciones positivas del usuario son cruciales para la adopción de la tecnología de IA. La mitigación debe centrarse en:
- Medidas Legales: Enjuiciar a los usuarios que hagan un mal uso de las herramientas de IA.
Monitoreo y Mantenimiento Continuos
El monitoreo continuo garantiza la fiabilidad y la seguridad a largo plazo del sistema de IA. Las intervenciones críticas de riesgo son:
- Mecanismos de Reporte: Establecer canales accesibles para reportar fraudes y usos indebidos.
- Campañas Públicas: Asegurar la conciencia pública de los mecanismos de reporte.
- Confidencialidad y Protección para las Fuentes de Reporte: Proteger a las personas que reportan sospechas de problemas.
- Revisión Regular: Actualizar los mecanismos de reporte basados en la retroalimentación y los avances tecnológicos.
- Monitoreo Continuo con técnicas de aprendizaje automático: Emplear técnicas para detectar y monitorear posibles usos indebidos.
Dirigirse a estas etapas del ciclo de vida con intervenciones políticas y técnicas bien definidas constituye la piedra angular de una estrategia resiliente de gestión de riesgos de la IA.
¿Cómo influyen las consideraciones de apertura en el sector de la IA en la eficacia de los diversos esfuerzos de mitigación de riesgos?
La apertura en el sector de la IA influye significativamente en la eficacia de los esfuerzos de mitigación de riesgos. A medida que los modelos de IA se vuelven más abiertos, los riesgos aumentan, pero también las oportunidades para soluciones colaborativas. Los responsables políticos y los desarrolladores deben reconocer que diferentes estrategias se vuelven más o menos relevantes a lo largo del espectro de la apertura. Profundicemos en ello.
Apertura y el Marco del Ciclo de Vida de la IA
El nivel de apertura en cada etapa de desarrollo introduce desafíos únicos de mitigación de riesgos.
- Recopilación y Preprocesamiento de Datos: Los modelos abiertos se benefician de conjuntos de datos diversos, lo que puede reducir los sesgos, pero plantea preguntas sobre la ética de la fuente de datos. ¿Los datos se obtienen de forma ética?
- Desarrollo y Entrenamiento del Modelo: La apertura aquí fomenta la transparencia y la colaboración, pero hacer cumplir la seguridad y la ética es más complejo.
- Pruebas y Validación, Implementación y Monitoreo, Mantenimiento y Gobernanza: Los modelos abiertos necesitan una supervisión impulsada por la comunidad (frente a la centralizada). ¿Cómo se mantiene la seguridad con un control distribuido?
El grado de apertura afecta tanto a los riesgos como a las posibles soluciones en cada etapa del desarrollo de la IA.
Apertura y Eficacia de la Mitigación
Algunas estrategias de mitigación de riesgos se vuelven más desafiantes, o imperativas, dependiendo del nivel de apertura del modelo de IA.
- Restricciones de Caso de Uso: Difícil de aplicar en modelos totalmente abiertos debido al fácil acceso y modificación, lo que hace que el control centralizado sea casi imposible. La naturaleza abierta de un modelo puede limitar severamente el uso de ciertas mitigaciones.
- Recopilación Responsable de Datos: Crítica en todos los niveles. Independientemente del grado de apertura, los datos de entrenamiento del modelo deben ser representativos y estar libres de sesgos/contenido malicioso. ¿Cómo podemos asegurar la veracidad de los datos a lo largo del proceso de desarrollo?
Considere un alto nivel de apertura, que puede elevar los riesgos de uso malicioso. Esto ocurre porque los actores maliciosos pueden acceder a los componentes del modelo y modificar/ajustar el modelo para fines dañinos. Para contrarrestar esto, se requiere una fuerte arquitectura de seguridad y pruebas/validación robustas.
Implicaciones Prácticas
Al implementar estrategias de mitigación de riesgos, siga estas pautas:
- Evite medidas superficiales: Las mitigaciones ineficaces restan valor a las recomendaciones creíbles. Priorice estrategias robustas y accionables.
- Intervenciones dirigidas: Aplique opciones precisas e informadas para proteger la innovación mientras mitiga los riesgos de manera efectiva.
- Enfoques duales: Utilice intervenciones tanto políticas como técnicas. Las medidas políticas proporcionan orientación, mientras que las mitigaciones técnicas abordan riesgos específicos en cada etapa.
Siguiendo estas recomendaciones, las partes interesadas de la IA pueden desarrollar e implementar estrategias de mitigación de riesgos adaptadas al grado de apertura. Este esfuerzo tiene como objetivo fomentar un entorno donde la IA de acceso abierto se desarrolle éticamente.
