¿Cuál es el propósito del Marco del Ciclo de Vida de la IA al abordar los riesgos relacionados con la IA?
El Marco del Ciclo de Vida de la IA tiene como objetivo proporcionar a los responsables políticos y reguladores un enfoque estructurado para mitigar los complejos riesgos asociados con las tecnologías de IA. Desglosa el desarrollo de la IA en siete etapas distintas:
- Recopilación y preprocesamiento de datos
- Arquitectura del modelo
- Entrenamiento y evaluación del modelo
- Implementación del modelo
- Aplicación del modelo
- Interacción del usuario
- Monitoreo y mantenimiento continuos
Al identificar puntos de intervención efectivos dentro de cada etapa, el Marco permite estrategias de mitigación de riesgos específicas que se alinean con los principios rectores clave. En última instancia, busca fomentar un enfoque equilibrado y proactivo para la gestión de riesgos de la IA, maximizando los beneficios y minimizando los daños potenciales.
Ideas centrales:
El marco está estructurado en torno al concepto de riesgos y mitigaciones ‘ascendentes’ y ‘descendentes’:
- Los riesgos ascendentes surgen del entrenamiento y desarrollo del modelo.
- Los riesgos descendentes resultan de las interacciones del usuario con los modelos.
La mitigación de riesgos puede ocurrir tanto en las etapas ascendentes como en las descendentes, incluso para las categorías de riesgo asociadas principalmente con una u otra. Por ejemplo, el uso malicioso, un riesgo descendente, puede abordarse tanto mediante mitigaciones ascendentes (desarrollo del modelo) como descendentes (interacción del usuario).
La mitigación efectiva debe ser específica y estar estrechamente adaptada a la etapa relevante del ciclo de vida de la IA. Una investigación exhaustiva y la comprensión tanto de los riesgos como de las estrategias de mitigación disponibles son esenciales para que los responsables políticos y los desarrolladores de la IA reduzcan los daños potenciales.
Preocupaciones regulatorias:
El Marco destaca la importancia de una supervisión regulatoria adaptable y en continua evolución. Los mecanismos para la revisión, el perfeccionamiento y el monitoreo continuo de los sistemas de IA son cruciales para mantenerse al día con los rápidos avances tecnológicos y las amenazas emergentes.
En lo que respecta a los modelos de IA de acceso abierto, los responsables políticos deben crear una supervisión regulatoria para la IA que tenga en cuenta la viabilidad técnica de las medidas propuestas. La colaboración con expertos y partes interesadas en IA para identificar e implementar mecanismos que sean tanto efectivos como técnicamente factibles es esencial para lograr el equilibrio adecuado entre permitir la innovación en IA y abordar el uso malicioso de la IA.
Implicaciones prácticas:
La aplicación del Marco del Ciclo de Vida de la IA implica la implementación de intervenciones tanto técnicas como políticas. Las mitigaciones técnicas implican cambios concretos en las estructuras técnicas que pueden reducir el riesgo. Las mitigaciones políticas, a menudo en forma de marcos regulatorios, proporcionan incentivos para que los desarrolladores adopten mitigaciones técnicas y garanticen la educación y la seguridad del usuario.
Las estrategias de mitigación específicas incluyen:
- Transparencia en el origen de los conjuntos de datos
- Estándares de seguridad sólidos para la arquitectura del modelo
- Auditorías de seguridad periódicas y pruebas de penetración
- Detección de anomalías y monitoreo continuo en la implementación del modelo
- Supervisión humana en la aplicación del modelo
- Mecanismos de denuncia ante sospechas de fraude o uso malicioso
El Marco reconoce que ciertas mitigaciones de riesgos podrían ser más efectivas en todo el espectro de los modelos de acceso abierto, mientras que otras podrían ser más aplicables a los sistemas de código cerrado con mayor control sobre el acceso y el uso.
¿Cuáles son los principios clave que guían las estrategias de mitigación de riesgos de la IA?
El Instituto para la Seguridad y la Tecnología (IST) ha identificado cinco principios rectores que son fundamentales para desarrollar estrategias eficaces de mitigación de riesgos de la IA. Estos principios proporcionan un contexto de alto nivel para los responsables políticos, los desarrolladores de IA y otras partes interesadas que navegan por el complejo panorama de la IA y la necesidad de cumplimiento.
Equilibrio entre la innovación y la aversión al riesgo
La gobernanza y la administración de la IA requieren un equilibrio delicado: fomentar la innovación responsable al tiempo que se da prioridad a la identificación y mitigación de los riesgos potenciales. El objetivo es aprovechar el potencial transformador de la IA, garantizando al mismo tiempo que su desarrollo y uso se ajusten a las normas de seguridad, ética y fiabilidad. Centrarse en no obstaculizar la innovación, al tiempo que se gestionan los riesgos.
Responsabilidad compartida entre las partes interesadas
La mitigación eficaz de los riesgos de la IA exige la colaboración de todas las partes interesadas, incluidos los responsables políticos, los desarrolladores de IA, los usuarios y la sociedad civil. Un punto crítico es que cada grupo aporta perspectivas, conocimientos y funciones únicas que deben tenerse en cuenta. Reconocer y adoptar esta responsabilidad compartida fomenta un enfoque colaborativo y, por tanto, más eficaz de la mitigación de riesgos, aprovechando los puntos fuertes de todas las partes interesadas.
Compromiso con la exactitud y la veracidad
Garantizar que los modelos de IA proporcionen información fiable y objetiva es crucial para generar confianza. Las estrategias de mitigación de riesgos deben priorizar la preservación de la exactitud, evitando la censura y comprometiendo la verdad por resultados acordes. El mantenimiento de este principio permite el desarrollo de sistemas de IA fiables y resultados útiles, verificables y fiables que informan las decisiones críticas, que a su vez ayudan a dar forma a la comprensión de la humanidad de los desafíos complejos.
Reglamentación factible y practicable
La supervisión reglamentaria de la IA debe tener en cuenta la viabilidad técnica de las medidas propuestas. La supervisión práctica requiere la colaboración con expertos y partes interesadas en la IA para identificar e implementar mecanismos eficaces y técnicamente viables que garanticen la equidad, mitiguen los daños y proporcionen la supervisión necesaria. Explore enfoques alternativos que creen una rendición de cuentas significativa sin imponer barreras o restricciones técnicamente inviables al desarrollo de la IA.
Supervisión adaptable y continua para combatir los riesgos
Los marcos reglamentarios deben adaptarse y seguir los avances tecnológicos, las mejores prácticas y las lecciones aprendidas. Estos marcos deben incorporar mecanismos para la revisión periódica, el perfeccionamiento, la supervisión continua y la supervisión eficaz. Adoptar la recopilación constante de datos, el análisis riguroso y los bucles de retroalimentación eficaces para informar mejor las mejoras en curso y los esfuerzos de mitigación de riesgos, manteniendo al mismo tiempo la vigilancia ante las amenazas emergentes, las vulnerabilidades y las preocupaciones éticas.
¿Cómo puede el Marco del Ciclo de Vida de la IA permitir la innovación al tiempo que gestiona los riesgos de la IA?
El Marco del Ciclo de Vida de la IA ofrece un enfoque estructurado para el desarrollo de la IA, desglosado en siete etapas distintas: recopilación y preprocesamiento de datos, arquitectura del modelo, entrenamiento y evaluación del modelo, implementación del modelo, aplicación del modelo, interacción del usuario y monitoreo y mantenimiento continuos. Este marco permite estrategias de mitigación de riesgos específicas en cada etapa, lo que permite que la innovación florezca al tiempo que aborda los posibles daños de manera proactiva.
Equilibrar la innovación y la aversión al riesgo
La clave es la mitigación adaptada. El Marco del Ciclo de Vida de la IA permite elecciones precisas en cada etapa de desarrollo, protegiendo la innovación mediante el uso de intervenciones que gestionan y reducen el riesgo de manera eficaz y con una intrusión mínima. Centrarse en las mitigaciones upstream al principio del desarrollo del modelo es un excelente ejemplo, ya que aborda preventivamente los riesgos sin inhibir el desarrollo de la aplicación downstream.
Responsabilidad compartida y participación de las partes interesadas
Un principio central de este marco es el de la responsabilidad compartida. Las partes interesadas, incluidos los responsables de la formulación de políticas, los desarrolladores de IA, los usuarios y la sociedad civil, deben colaborar. Al asignar los riesgos y las mitigaciones a lo largo de todo el ciclo de vida, cada grupo comprende su función, aprovechando diversas perspectivas para una gestión de riesgos más sólida.
Estrategias viables y conscientes de la factibilidad
El marco divide el desarrollo de la IA en fases manejables, allanando el camino para medidas regulatorias factibles. Al centrarse en fases específicas, los reguladores pueden elaborar intervenciones específicas que sean técnicamente viables e impactantes, evitando mandatos que sean demasiado amplios o poco prácticos. Esto fomenta la innovación al centrar las cargas regulatorias en acciones específicas.
Supervisión adaptable y continua
El Marco del Ciclo de Vida de la IA se sincroniza bien con la necesidad continua de marcos regulatorios adaptables, ya que evoluciona junto con los avances tecnológicos. La supervisión continua más la mejora iterativa están integradas en el ciclo de vida, lo que permite actualizaciones continuas de las estrategias de mitigación de riesgos basadas tanto en amenazas emergentes como en nuevos desarrollos en tecnología de IA.
Estrategias clave de mitigación en todo el ciclo de vida
Aquí hay algunos ejemplos concretos de enfoques de mitigación, por fase del ciclo de vida:
- Recopilación y preprocesamiento de datos Hacer que el abastecimiento de conjuntos de datos sea transparente para los usuarios públicos y la sociedad civil, validando todos los datos para detectar y, si es necesario, eliminar puntos de datos anómalos/sospechosos antes de que entren en la canalización de entrenamiento. Esto también incluiría el uso de técnicas de IA que preservan la privacidad (como el aprendizaje federado).
- Arquitectura del modelo Apoyar las mesas redondas de IA para los expertos en IA de Estados Unidos, incentivando a las organizaciones e investigadores mediante incentivos en efectivo, computación o subvenciones para compartir conocimientos y adoptar prácticas seguras de IA. En esta misma línea, necesitamos estándares de seguridad sólidos en todos los laboratorios de IA líderes, para fomentar el intercambio de datos y la creación de tecnología de IA segura.
- Entrenamiento y evaluación del modelo Exigir auditorías de seguridad periódicas y pruebas de penetración para identificar vulnerabilidades y garantizar que los modelos no se estén explotando para fines/accesos maliciosos. Crear fuertes protecciones legales y recompensas públicas para los denunciantes que informen sobre comportamientos maliciosos.
- Implementación del modelo Implementar fuertes protecciones legales para preocupaciones éticas o denunciantes, y monitorear continuamente los modelos en busca de intrusiones o usos indebidos, utilizando técnicas de aprendizaje automático para detectar y responder a las amenazas en tiempo real. La detección de anomalías debe integrarse en la arquitectura del modelo.
- Aplicación del modelo Exigir mecanismos de supervisión y control humanos para aplicaciones de IA de alto riesgo y establecer restricciones sobre los tipos de aplicaciones por parte de los desarrolladores de aplicaciones en las que se aplican los modelos fundacionales.
- Interacción del usuario Se deben tomar medidas legales contra los usuarios que realicen actividades ilícitas o ilegales utilizando sistemas de IA.
- Monitoreo y mantenimiento continuos Establecer mecanismos de denuncia accesibles y comunicados claramente para sospechas de fraude o uso indebido, publicitados en todos los medios de comunicación, con confidencialidad garantizada y protección contra represalias para los denunciantes.
¿Cuáles son las principales etapas del ciclo de vida de la IA?
El desarrollo y la implementación de sistemas de IA es un proceso complejo compuesto por distintas etapas. Comprender estas etapas es clave para identificar y mitigar los riesgos potenciales, especialmente a la luz de las crecientes preocupaciones sobre el uso malicioso.
Aquí hay un desglose del ciclo de vida de la IA, tal como se articula en un informe reciente:
- Recopilación y preprocesamiento de datos: Esta etapa inicial implica la recopilación de datos brutos, la limpieza, el manejo de valores faltantes, la normalización de formatos de datos y el aumento de conjuntos de datos. Los datos de alta calidad son cruciales para modelos de IA eficaces; los datos deficientes conducen a resultados sesgados y poco fiables.
- Arquitectura del modelo: El diseño y la estructura se definen en esta etapa, incluida la selección de algoritmos y la topología de la red. Una arquitectura bien diseñada es esencial para el rendimiento, la escalabilidad y, lo que es más importante, la seguridad de los modelos de IA.
- Entrenamiento y evaluación del modelo: Utilizando datos preprocesados, aquí es donde los modelos de IA aprenden a reconocer patrones y hacer predicciones. Las pruebas rigurosas aseguran que el modelo se generalice bien a nuevos datos y evite el sobreajuste o el subajuste, problemas que pueden afectar las aplicaciones del mundo real.
- Implementación del modelo: Esto implica integrar el modelo de IA entrenado en un entorno de producción para el acceso del usuario final, configurando la infraestructura necesaria como servidores y API. Las prácticas de implementación adecuadas mantienen el rendimiento, la seguridad y la escalabilidad del modelo.
- Aplicación del modelo: Esta etapa se centra en el desarrollo de aplicaciones utilizando los modelos de IA implementados para realizar tareas específicas. El desarrollo eficaz de aplicaciones garantiza que las tecnologías de IA se aprovechen adecuadamente y aporten valor.
- Interacción del usuario: El diseño de las interfaces de usuario y las interacciones con la IA es fundamental. Esto incluye consideraciones para la experiencia de usuario (UX), la interfaz de usuario (UI) y la accesibilidad para garantizar una participación positiva y mitigar los riesgos de un uso indebido o una mala interpretación por parte del usuario.
- Monitoreo y mantenimiento continuos: El seguimiento continuo del rendimiento del modelo, la resolución de problemas y la actualización de los modelos son necesarios. Esta etapa final es vital para mantener la fiabilidad y la seguridad a largo plazo de los sistemas de IA, adaptarse a los entornos cambiantes e incorporar nuevos avances.
Los responsables de la formulación de políticas, los funcionarios de cumplimiento y los profesionales de la tecnología legal deben comprender que cada etapa presenta oportunidades y desafíos únicos para la implementación de estrategias de mitigación de riesgos.
Por qué estas etapas son importantes
La importancia de cada etapa no puede ser exagerada, especialmente en el contexto del aumento de los riesgos impulsados por la IA:
- Calidad de los datos: Basura entra, basura sale. Los datos de alta calidad y sin sesgos son primordiales.
- Seguridad de la arquitectura: Una arquitectura vulnerable puede ser explotada; un diseño robusto no es negociable.
- Entrenamiento riguroso: El entrenamiento y la evaluación deben ser exhaustivos para evitar resultados poco fiables o sesgados.
- Implementación adecuada: Las prácticas de implementación deficientes crean oportunidades para la explotación por parte de actores maliciosos.
- Aplicaciones eficaces: Si las aplicaciones no se desarrollan cuidadosamente, el valor de la IA disminuye y los riesgos aumentan.
- Experiencia de usuario positiva: La usabilidad, la transparencia y la confiabilidad son esenciales para minimizar las posibilidades de uso indebido.
- Supervisión continua: La fiabilidad a largo plazo depende de un monitoreo y mantenimiento vigilantes.
El valor del marco radica en la identificación de mitigaciones específicas basadas en la experiencia técnica y la evidencia del mundo real, no solo en supuestos amplios y no probados.
¿Cómo ayuda el Marco del Ciclo de Vida de la IA a identificar puntos efectivos para la mitigación de riesgos?
El Marco del Ciclo de Vida de la IA proporciona un enfoque estructurado para el desarrollo de la IA, dividiendo el proceso complejo en siete etapas distintas, lo que permite estrategias de mitigación de riesgos dirigidas.
Las Siete Etapas
Aquí están las siete etapas del Marco del Ciclo de Vida de la IA:
- Recolección & Preprocesamiento de Datos
- Arquitectura del Modelo
- Entrenamiento & Evaluación del Modelo
- Despliegue del Modelo
- Aplicación del Modelo
- Interacción del Usuario
- Monitoreo & Mantenimiento Continuos
Al identificar los puntos más efectivos para implementar mitigaciones de riesgos dentro de cada etapa del ciclo de vida de la IA, el marco permite intervenciones dirigidas que se alinean con principios rectores como:
- Equilibrar la innovación y la aversión al riesgo
- Fomentar la responsabilidad compartida entre las partes interesadas
- Mantener un compromiso con la precisión
- Desarrollar una regulación practicable
- Crear una supervisión adaptable y continua
El marco reconoce que la mitigación de riesgos puede ocurrir tanto aguas arriba (dirigida al desarrollo del modelo) como aguas abajo (dirigida al lanzamiento del modelo y la interacción del usuario). Esta distinción es crucial porque incluso para los riesgos aguas abajo, como el uso malicioso, tanto las mitigaciones aguas arriba como aguas abajo pueden reducir significativamente el daño.
Tipos de Mitigación
El Marco enfatiza dos tipos de mitigaciones:
- Mitigaciones Técnicas: Cambios concretos en las estructuras técnicas para reducir el riesgo.
- Mitigaciones de Política: Marcos regulatorios que incentivan a los desarrolladores a adoptar mitigaciones técnicas exitosas, garantizando la educación y la seguridad del usuario.
La relevancia del marco para los responsables políticos se deriva de su forma práctica de transmitir las implicaciones de las intervenciones de una manera accesible. Ayuda a identificar los daños previsibles dentro del contexto legal existente, clarificando el deber de diligencia de los desarrolladores de IA.
Una fortaleza clave radica en su énfasis en la investigación profunda y la toma de decisiones informada. Al examinar exhaustivamente cada etapa, se puede desarrollar una comprensión matizada de los riesgos y oportunidades específicos e identificar mitigaciones dirigidas basadas en la experiencia técnica y la evidencia del mundo real.
El marco reconoce el espectro de apertura en el desarrollo de la IA. Los modelos de IA de acceso abierto, aunque promueven la transparencia y la colaboración, presentan desafíos únicos de mitigación de riesgos debido a su accesibilidad y potencial de uso indebido. El marco sugiere centrarse en las mitigaciones aguas arriba para el acceso abierto, como la recopilación responsable de datos y el red teaming previo al despliegue, al tiempo que reconoce que las restricciones aguas abajo pueden ser menos efectivas.
¿Cómo se estructura el Análisis Profundo de los Riesgos de Uso Malicioso y cuál es su objetivo?
La sección «Análisis Profundo de los Riesgos de Uso Malicioso» está estructurada para proporcionar un análisis exhaustivo de los posibles daños asociados con las tecnologías de IA. Se centra en áreas clave previamente identificadas como negativamente influenciadas por una mayor apertura de los modelos de IA.
Metodología
La metodología implica un análisis en tres etapas:
- Perspectiva Histórica: Examinar las tendencias generales de las conductas maliciosas sin el uso de la tecnología de IA para construir una comprensión de los ecosistemas y los patrones de comportamiento de cada categoría de malicia.
- Estado Actual: Revisar el estado actual del uso malicioso de las tecnologías de IA para determinar cómo se están aplicando estas nuevas tecnologías a los patrones de comportamiento existentes.
- Perspectiva Futura: Adoptar un enfoque orientado al futuro para determinar cómo, con tecnologías existentes y más avanzadas, las herramientas de IA podrían aplicarse a cada categoría.
Este enfoque permite establecer un contexto histórico claro, lo que permite a los lectores comprender cómo los sistemas de IA se están integrando actualmente en los patrones de comportamiento humano existentes en casos de uso malicioso.
Objetivos
Los objetivos de esta sección son dos:
- Comprender cómo los sistemas de IA se están integrando actualmente en los patrones de comportamiento humano existentes en casos de uso malicioso.
- Construir un modelo mental predictivo para determinar dónde y cómo los sistemas de IA pueden encajar en, o exacerbar, los patrones existentes de actividad maliciosa, e identificar los resultados potenciales más probables y más amenazantes.
La sección tiene como objetivo informar la gobernanza proactiva y el desarrollo de marcos robustos de seguridad de la IA, al tiempo que reconoce la incertidumbre introducida por el rápido avance tecnológico y la interacción de las elecciones humanas.
Áreas Clave de Enfoque
El análisis profundo se concentra en varias áreas clave de uso malicioso:
- Fraude y otros esquemas delictivos, dirigidos particularmente a poblaciones en riesgo.
- Socavamiento de la cohesión social y los procesos democráticos a través de la desinformación.
- Abusos contra los derechos humanos por parte de estados autoritarios.
- Interrupción de la infraestructura crítica a través de ataques cibernéticos.
- Conflicto estatal a través de la contribución de las capacidades de la IA a entidades adversarias.
Para cada área, el análisis considera el contexto histórico, la aplicación actual y las posibles amenazas futuras, proporcionando una visión completa de los riesgos asociados con el uso indebido de la IA.
¿Cómo se alinea el Marco del Ciclo de Vida de la IA con los principios rectores?
El Marco del Ciclo de Vida de la IA se alinea inherentemente con los principios rectores al asegurar que las intervenciones sean factibles, prácticas y específicas. Este enfoque exige la participación de múltiples partes interesadas, cada una aportando sus perspectivas y experiencia únicas. Al dirigirse a etapas específicas del ciclo de vida de la IA, se pueden tomar decisiones precisas e informadas que protejan la innovación al tiempo que se mitigan eficazmente los riesgos.
Principio #1: Equilibrar la innovación y la aversión al riesgo
El Marco permite estrategias de mitigación de riesgos personalizadas en cada etapa del desarrollo e implementación de la IA. Esta granularidad asegura que las medidas de mitigación de riesgos sean efectivas y mínimamente intrusivas, protegiendo el potencial innovador de las tecnologías de IA. Por ejemplo, centrarse en las mitigaciones iniciales durante la fase de desarrollo del modelo puede abordar preventivamente los riesgos sin sofocar la innovación descendente en el desarrollo de aplicaciones.
Principio #2: Responsabilidad compartida entre las partes interesadas
La mitigación eficaz de riesgos requiere la aportación de todas las partes interesadas involucradas en el ciclo de vida de la IA, incluidos los responsables políticos, los desarrolladores, los usuarios y la sociedad civil. Al trazar los riesgos y las mitigaciones a lo largo de todo el ciclo de vida, cada grupo de partes interesadas obtiene una comprensión clara de su papel y responsabilidades. Este enfoque colaborativo aprovecha la diversidad de conocimientos y perspectivas, lo que conduce a estrategias de gestión de riesgos más integrales y sólidas.
Principio #3: Compromiso con la precisión
Abordar los riesgos en múltiples etapas del ciclo de vida de la IA garantiza que la precisión y la fiabilidad se mantengan durante todo el proceso de desarrollo e implementación. La implementación de mecanismos rigurosos de validación y monitoreo en cada etapa mantiene la integridad de los modelos de IA, fomentando así la confianza y garantizando su aplicación beneficiosa en diversos dominios.
Principio #4: Supervisión regulatoria consciente de la viabilidad
El Marco desglosa el complejo proceso de desarrollo de la IA en etapas manejables, lo que facilita el diseño e implementación de medidas regulatorias factibles. Al centrarse en fases específicas, los reguladores pueden desarrollar intervenciones específicas que sean técnicamente viables y efectivas, evitando mandatos demasiado amplios o poco prácticos.
Principio #5: Supervisión adaptable y continua
La naturaleza dinámica del Marco se alinea con la necesidad de marcos regulatorios adaptables que evolucionen con los avances tecnológicos. La supervisión continua y las mejoras iterativas están integradas en el ciclo de vida, lo que permite actualizaciones periódicas de las estrategias de mitigación de riesgos basadas en las amenazas emergentes y los nuevos desarrollos en la tecnología de la IA.
¿Cuál es la relación entre la apertura y el Marco del Ciclo de Vida de la IA?
El Marco del Ciclo de Vida de la IA ofrece un enfoque estructurado para gestionar los riesgos de la IA, especialmente en lo que respecta a la apertura. El informe de la Fase I estableció que, en general, a medida que aumenta el acceso a los modelos fundacionales de la IA, también aumenta el potencial de daños. Esta sección se basa en esas ideas explorando cómo la apertura afecta al Marco del Ciclo de Vida de la IA y a las estrategias de mitigación de riesgos asociadas.
Al mapear el espectro de la apertura en el Marco del Ciclo de Vida de la IA, los responsables políticos y las partes interesadas pueden obtener una comprensión más profunda de los desafíos y oportunidades únicos en cada etapa.
Impacto de la Apertura en el Ciclo de Vida de la IA
El grado de apertura en cada etapa impacta significativamente los riesgos asociados. Considere estos ejemplos:
- Recopilación y preprocesamiento de datos: Los modelos abiertos pueden beneficiarse de conjuntos de datos diversos, reduciendo el sesgo.
- Desarrollo y entrenamiento del modelo: Un mayor acceso promete transparencia y colaboración, pero complica la seguridad y la aplicación de estándares éticos.
- Pruebas, implementación y gobernanza: Los modelos abiertos requieren enfoques impulsados por la comunidad en lugar de un control centralizado.
Variación de la eficacia de las medidas de mitigación de riesgos
Ciertas estrategias de mitigación enfrentan desafíos a medida que aumenta la apertura:
- Restricciones de casos de uso: Hacer cumplir las limitaciones en modelos completamente abiertos se vuelve difícil.
- Prácticas de recopilación de datos: La recopilación de datos responsable sigue siendo vital en todos los niveles de apertura para mitigar el sesgo y los riesgos de uso malicioso.
Riesgos como el uso malicioso y el incumplimiento de las normas se cruzan con las etapas del ciclo de vida de la IA de manera compleja, y el nivel de apertura juega un papel importante en estas dinámicas.
Por ejemplo, el riesgo de uso malicioso puede ser mayor para los modelos con mayor apertura, ya que los actores maliciosos tienen mayor acceso a los componentes del modelo y pueden modificar o ajustar el modelo más fácilmente para fines perjudiciales. En tales casos, las estrategias de mitigación de riesgos centradas en la etapa de desarrollo, prueba y validación del modelo, como las arquitecturas de modelos seguros y los procesos sólidos de prueba y validación, se vuelven cada vez más importantes.
¿Cómo propone el informe abordar los riesgos de la IA y, al mismo tiempo, fomentar la innovación?
El informe hace hincapié en el equilibrio entre innovación y aversión al riesgo como principio rector. Su objetivo es crear un entorno que fomente la innovación responsable en materia de IA, pero que dé prioridad a la identificación, la evaluación y la mitigación de los riesgos. Esto debería permitir a la sociedad beneficiarse del progreso de la IA, al tiempo que alinea su desarrollo con la seguridad, la ética y la fiabilidad.
Una herramienta clave en este enfoque es el Marco del Ciclo de Vida de la IA, que desglosa el desarrollo de la IA en siete etapas distintas:
- Recopilación y preprocesamiento de datos
- Arquitectura del modelo
- Entrenamiento y evaluación del modelo
- Implementación del modelo
- Aplicación del modelo
- Interacción con el usuario
- Supervisión y mantenimiento continuos
El marco permite aplicar estrategias de mitigación de riesgos específicas en cada etapa. Esta especificidad garantiza que la mitigación de riesgos sea eficaz y mínimamente intrusiva, protegiendo el potencial innovador de las tecnologías de IA. Por ejemplo, las mitigaciones iniciales durante el desarrollo del modelo pueden abordar preventivamente los riesgos sin sofocar la innovación posterior en el desarrollo de aplicaciones.
He aquí algunos ejemplos de mitigaciones propuestas, organizadas por etapa del ciclo de vida:
Recopilación y preprocesamiento de datos
- Transparencia en el origen de los conjuntos de datos: Exigir transparencia a los grandes laboratorios que construyen modelos fundacionales con respecto a los orígenes de los conjuntos de datos.
- Validación y saneamiento de datos: Implementar protocolos rigurosos para detectar datos anómalos o sospechosos.
- Técnicas de IA que preservan la privacidad: Emplear métodos como el aprendizaje federado para proteger los datos sensibles.
Arquitectura del modelo
- Mesas redondas de IA: Apoyar mesas redondas para que investigadores verificados compartan las mejores prácticas.
- Normas de seguridad sólidas: Desarrollar y hacer cumplir normas de seguridad sólidas para los principales laboratorios.
- Incentivos: Proporcionar incentivos para proyectos de colaboración que compartan conocimientos sobre el desarrollo seguro de la IA.
Entrenamiento y evaluación del modelo
- Auditorías de seguridad periódicas: Exigir auditorías periódicas y pruebas de penetración de los entornos de entrenamiento de la IA.
- Programas de recompensas por errores: Fomentar el descubrimiento de errores en metodologías conocidas mediante recompensas financieras.
- Red Teaming: Simular ataques de adversarios para fortalecer las medidas de seguridad y abordar las vulnerabilidades.
Implementación del modelo
- Monitorización continua: Emplear técnicas de aprendizaje automático para detectar intrusiones o usos indebidos en tiempo real.
- Detección de anomalías: incorporar la detección de anomalías en la arquitectura del modelo para identificar actividades maliciosas
Aplicación del modelo
- Supervisión humana: Exigir la supervisión humana para las aplicaciones de alto riesgo con el fin de evitar acciones maliciosas autónomas.
- Restricciones de uso: Delinear las restricciones sobre el uso de modelos fundacionales en el desarrollo de aplicaciones.
- Pruebas de equipo rojo: Simular posibles escenarios maliciosos y vulnerabilidades.
Interacción con el usuario
- Medidas legales: Presentar cargos contra los usuarios que utilicen la IA para acciones fraudulentas o ilícitas.
Supervisión y mantenimiento continuos
- Mecanismos de denuncia: Establecer formas claras y accesibles para que las personas denuncien sospechas de fraude o uso malicioso de la IA.
- Campañas públicas: Promover los esfuerzos de sensibilización para la denuncia y la publicidad de la importancia de hacerlo.
- Revisiones periódicas: Actualizar las prácticas de denuncia en función de la experiencia del usuario pertinente y de las tendencias de fraude en evolución.
El informe también reconoce que la apertura afecta a la mitigación de riesgos. Una mayor apertura puede requerir enfoques impulsados por la comunidad y hace hincapié en las mitigaciones iniciales, como la recopilación responsable de datos y la transparencia en el desarrollo de modelos, para los modelos de acceso abierto.
En última instancia, este marco tiene como objetivo una estructura reguladora adaptable y factible, que evolucione con la tecnología emergente y se informe a través de un modelo colaborativo público-privado.
