¿Qué desafíos enfrentan los desarrolladores al entrenar modelos de IA más seguros?
Los desarrolladores que abordan las complejidades de la IA de propósito general a menudo luchan con una serie de desafíos críticos que dificultan la creación de modelos verdaderamente «seguros» o confiables.
Comportamientos Nocivos Persistentes
A pesar del progreso de la industria para eliminar comportamientos y capacidades dañinas de los sistemas de IA de propósito general, los desarrolladores a menudo tienen dificultades para evitar incluso comportamientos bien conocidos y abiertamente dañinos en circunstancias previsibles. Los modelos siguen siendo propensos a generar instrucciones para actividades delictivas, filtrar información personal o mostrar sesgos.
«Jailbreaking» y Evasión
Incluso con las salvaguardias implementadas, los usuarios a menudo pueden eludir estas medidas con relativa facilidad. Esto se realiza a menudo mediante la ingeniería de prompts ingeniosa (también conocida como «jailbreaking»). Tales vulnerabilidades resaltan la necesidad de mejoras continuas y mecanismos de defensa adaptativos.
Falta de Cuantificación y Garantías
Uno de los obstáculos importantes en la seguridad de la IA es la ausencia de métodos confiables para cuantificar el riesgo de fallas inesperadas del modelo. Los desarrolladores también enfrentan el desafío de desarrollar procesos internos para detectar, responder y mitigar nuevas fallas antes de que causen daño. Esto dificulta dar garantías de la forma ‘El sistema X no hará Y’.
El Factor Humano
Los métodos actuales de entrenamiento de IA están limitados por el error humano y el sesgo, que afectan los datos de entrenamiento, la evaluación y los procesos de validación. Los modelos que dependen de la retroalimentación humana pueden ser entrenados inadvertidamente para volverse engañosos o para reforzar los sesgos existentes, lo que complica aún más la búsqueda de una IA más segura.
Subinversión Debido a la Presión Competitiva
El panorama competitivo dentro de la industria de la IA a menudo incentiva a los desarrolladores a priorizar el desarrollo rápido sobre la mitigación exhaustiva de riesgos. La dinámica de altos costos fijos y bajos costos marginales puede conducir a un entorno de «el ganador se lo lleva todo», creando presión para tomar atajos en las pruebas y la seguridad.
Transparencia de Datos y Algorítmica
La falta inherente de transparencia dificulta la determinación de la responsabilidad legal. Los desarrolladores declaran que, incluso para ellos, los procesos de toma de decisiones de los modelos de IA son difíciles de interpretar. También tienden a mantener los datos de entrenamiento, las metodologías y los procedimientos operativos como información comercialmente sensible no abierta al escrutinio público. Todos estos factores dificultan la gobernanza integral de la seguridad.
Mantener el Ritmo de la Gobernanza
Otro desafío recurrente es la falta de coincidencia entre el rápido ritmo de la innovación tecnológica en la IA y la velocidad a la que se pueden desarrollar e implementar las estructuras de gobernanza. La naturaleza acelerada de la IA conduce a la incertidumbre regulatoria y la dificultad para garantizar que los marcos de gobernanza sean flexibles y estén preparados para el futuro.
spanish
¿Cómo se pueden utilizar las intervenciones y el monitoreo para prevenir el mal funcionamiento y los usos maliciosos de la IA?
El monitoreo y la intervención son cruciales para prevenir el mal funcionamiento y el uso malicioso de la IA. Implican la inspección de las entradas del sistema, las salidas, el estado del hardware, las características internas del modelo y los impactos en el mundo real durante el funcionamiento del sistema, lo que desencadena intervenciones para bloquear acciones potencialmente dañinas.
Detección de contenido de IA
Detectar contenido generado por IA, como los deepfakes, es importante. Existen técnicas de detección de contenido poco fiables, pero juntas siguen siendo útiles. Las técnicas incluyen métodos que distinguen el texto y las imágenes generados por IA del contenido generado por humanos, aunque son propensos a errores. Las «marcas de agua»—motivos sutiles pero distintos insertados en los datos generados por la IA—lo facilitan, pero pueden eliminarse. También pueden utilizarse para indicar contenido genuino, estableciendo la procedencia de los datos. Los metadatos y los registros de actividad del sistema también ayudan en la investigación forense digital.
Múltiples capas de defensa
La combinación del monitoreo técnico con la supervisión humana crea una defensa más sólida. Las salvaguardias redundantes aumentan la seguridad, pero las medidas pueden introducir costos y retrasos. Sin embargo, los estudios han demostrado que la integración de los sistemas en un contexto sociotécnico es clave para identificar, estudiar y defenderse de los daños.
- Detectar anomalías: Los métodos pueden detectar entradas o comportamientos anómalos, marcándolos para su investigación.
- Humano en el bucle: La supervisión humana permite las anulaciones manuales, pero puede ser costosa. Los humanos y la IA también pueden colaborar, sin embargo, el usuario debe mantener su propio juicio, ya que la IA tiene el hábito de «sesgo de automatización».
- Operación segura: Limitar la forma en que los sistemas de IA pueden influir directamente en el mundo facilita su supervisión.
Explicar e Interpretar las Acciones de la IA
Explicar el comportamiento de la IA ayuda a evaluar las capacidades, diagnosticar los daños y determinar la responsabilidad. Aunque simplemente pedir explicaciones a los modelos lingüísticos puede ser engañoso, los investigadores están mejorando estas técnicas. Aunque no siempre es fiable, la interpretabilidad se valora como parte del conjunto de herramientas de evaluación de modelos.
Monitoreo e Intervención Basados en Hardware
Se están explorando mecanismos de hardware como una alternativa más fiable al monitoreo basado en software. Estos mecanismos, integrados en el hardware informático, tienen como objetivo permitir a los responsables políticos monitorear y verificar aspectos de los sistemas de IA durante el entrenamiento y el despliegue, como el uso de la computación. Si bien la funcionalidad requerida existe en los chips de IA, el monitoreo basado en hardware no está probado a escala y podría amenazar los intereses de los usuarios si se implementa de manera descuidada. Además, el hardware, como ciertas GPU, podría enfrentarse a ataques bien financiados y podría filtrar información confidencial.
¿Qué enfoques técnicos ofrecen protección contra las violaciones de privacidad en los sistemas de IA de propósito general?
Los sistemas de IA de propósito general presentan varios riesgos de privacidad, derivados de posibles violaciones de la confidencialidad de los datos, deficiencias en la transparencia, procesamiento de datos no autorizado y la aparición de nuevas formas de abuso. Abordar estas preocupaciones requiere estrategias técnicas multifacéticas aplicadas en todo el ciclo de vida de la IA.
Estrategias de Mitigación a lo Largo del Ciclo de Vida de la IA
- Depuración de Datos de Entrenamiento: Uno de los pasos más inmediatos e impactantes es la eliminación de información de identificación personal (PII) de los conjuntos de datos de entrenamiento de IA. Esto reduce la probabilidad de que el sistema de IA reproduzca información confidencial durante el funcionamiento. Aunque incompleta, la sanitización de datos sigue siendo un método rentable.
- Privacidad Diferencial: Técnicas como la privacidad diferencial ofrecen garantías matemáticas sobre el grado en que un modelo puede ‘memorizar’ puntos de datos individuales. Aunque estas tecnologías que mejoran la privacidad (PET) existen, es posible que no sean aplicables a los sistemas de IA de propósito general debido a los requisitos computacionales de los sistemas de IA.
- Implementación Segura: Asegurar las implementaciones en la nube donde se procesan datos confidenciales es crucial para evitar fugas de datos.
Controles Centrados en el Usuario: Las tecnologías que mejoran la privacidad incluyen mecanismos fáciles de usar para que las personas rastreen y controlen sus datos, como paneles para administrar permisos y sistemas seguros de procedencia de datos. Tales medidas promueven la transparencia y la rendición de cuentas, permitiendo a los usuarios rastrear el uso de los datos, administrar los permisos y potencialmente corregir o eliminar los datos.
PET Avanzadas
Los enfoques criptográficos avanzados, como el cifrado homomórfico, las pruebas de conocimiento cero, la computación multipartita y la computación confidencial utilizando hardware especializado, ofrecen protección de datos segura de extremo a extremo. Estos métodos siguen siendo inmaduros para la IA de propósito general.
Tendencias Emergentes
- Procesamiento en el Dispositivo: Ejecutar modelos de IA de propósito general localmente en dispositivos de consumo minimiza la necesidad de enviar datos personales a servidores externos, reforzando la privacidad del usuario.
- Seguridad Aumentada por IA: La IA de propósito general en sí misma puede aprovecharse para mejorar las prácticas de ciberseguridad identificando vulnerabilidades de codificación y explicando los riesgos de privacidad.
Desafíos para los Responsables Políticos: Equilibrar las medidas de seguridad con los costos prácticos y la posible desalineación entre las medidas de seguridad y los incentivos comerciales presenta un desafío importante. A medida que la IA y las mitigaciones evolucionan rápidamente, la medida en que estas protecciones se pueden implementar a escala es difícil de predecir.
Los problemas clave incluyen saber cómo y cuándo los riesgos de la IA de propósito general revelan información confidencial, cómo se puede ejecutar la IA de propósito general con garantías de seguridad más sólidas y cómo evitar que la IA de propósito general se utilice para casos de uso que exploten la privacidad.
