Lo esencial
- La IA adversaria es la manipulación deliberada de un modelo de machine learning, a través de sus entradas, sus datos de entrenamiento o sus parámetros, para que falle, filtre datos o produzca una salida elegida por el atacante.
- Las principales familias de ataque son la evasión, el envenenamiento de datos y los ataques a la confidencialidad (extracción), a los que se suman la inyección de prompts y los jailbreaks contra los modelos generativos.
- La robustez ya no es opcional: el artículo 15 del Reglamento Europeo de IA exige exactitud, robustez y ciberseguridad a los sistemas de alto riesgo desde el 2 de agosto de 2026.
- Una defensa eficaz combina controles técnicos (entrenamiento adversario, filtrado de entradas, red teaming) y controles de gobernanza (un responsable designado, evidencias documentadas, una revisión periódica).
- Trata la IA adversaria como un riesgo gobernado dentro de tu sistema de gestión de la IA, no como una compra de seguridad puntual.
¿Qué es la IA adversaria?
La IA adversaria reúne los ataques que apuntan a los sistemas de machine learning explotando su forma de aprender y de decidir. El atacante no fuerza un servidor: presenta al modelo datos de apariencia corriente que lo orientan hacia un resultado erróneo o peligroso. La investigación también habla de aprendizaje adversario (adversarial machine learning), y ambas expresiones designan el mismo campo. El ejemplo adversario es su ilustración más clara. Unas pocas pegatinas en una señal de stop, o un puñado de píxeles modificados en una imagen, bastan para que un modelo de visión muy preciso lea la señal como un límite de velocidad. El cambio suele escapar al ojo humano, pero invierte la salida del modelo. Es justamente esa brecha entre la percepción humana y la percepción de la máquina lo que explota cualquier ataque adversario. Lo que distingue estos ataques del hackeo clásico es el objetivo. La ciberseguridad tradicional protege código, redes y credenciales. La IA adversaria ataca la lógica estadística del modelo: los datos de los que aprendió, las fronteras que traza entre clases y la confianza que deposita en sus propias respuestas. Para una organización que usa IA en selección de personal, crédito, triaje médico o detección de fraude, esa lógica concentra a la vez el valor y el riesgo. El campo cuenta ya con una referencia oficial. La publicación NIST AI 100-2e2025, de marzo de 2025, es la taxonomía de referencia de los ataques y las mitigaciones en el aprendizaje adversario. Si estás montando un programa de gestión de riesgos de IA, es el documento con el que alinear tus controles.
Cómo funcionan los ataques de IA adversaria
La mayoría de los ataques sigue una trayectoria reconocible. Primero el atacante estudia el sistema objetivo para entender qué hace y cómo responde. Luego fabrica una entrada, una muestra de entrenamiento envenenada o un prompt manipulado, diseñado para provocar el fallo buscado. Por último entrega esa carga y observa el resultado, antes de afinar el ataque o borrar sus huellas. La taxonomía del NIST clasifica los ataques según varias dimensiones prácticas, cada una de las cuales cambia la defensa. La primera es el objetivo: comprometer la integridad del modelo (forzar una respuesta equivocada), su disponibilidad (degradar el rendimiento) o su confidencialidad (extraer datos o el propio modelo). La segunda es el acceso: el atacante solo puede enviar entradas, o también alcanzar la tubería de entrenamiento. La tercera es el conocimiento. En un ataque de caja blanca el adversario conoce la arquitectura y los pesos, lo que facilita crear entradas adversarias. En un ataque de caja negra apenas sabe nada y debe sondear el modelo desde fuera. La última dimensión es el momento en el ciclo de vida. Los ataques en entrenamiento corrompen los datos o el proceso mientras se construye el modelo. Los ataques en producción manipulan las entradas una vez desplegado. Gobernar el riesgo adversario supone cubrir ambos extremos del ciclo, lo que convierte el inventario de tus sistemas de IA y sus fuentes de datos en un requisito previo, no en un añadido.
Los principales tipos de ataque adversario
Cuatro familias cubren la mayor parte de los casos actuales. La evasión ocurre en la inferencia. El atacante perturba una entrada legítima para que el modelo desplegado la clasifique mal, mientras sigue pareciendo normal para una persona. Un spam que supera el filtro, un malware ajustado para parecer inofensivo o la señal de stop manipulada son ataques de evasión. El envenenamiento ocurre en el entrenamiento. El atacante inyecta datos corruptos o mal etiquetados en el conjunto de entrenamiento, o altera el modelo durante el ajuste fino, de modo que el modelo terminado arrastre un defecto oculto. Una puerta trasera que se comporta con normalidad hasta encontrar un disparador concreto es un ataque de envenenamiento. Los ataques a la confidencialidad y de extracción apuntan al secreto. La inferencia de pertenencia revela si un registro concreto estuvo en los datos de entrenamiento. La extracción de modelo roba una copia funcional a fuerza de consultas. La inversión reconstruye entradas sensibles a partir de las salidas. La IA generativa añade su propia categoría. NIST AI 100-2e2025 amplía la taxonomía a la inyección de prompts (directa e indirecta), los jailbreaks y el compromiso de la cadena de suministro de los modelos fundacionales. La inyección indirecta es especialmente difícil de gobernar, porque la instrucción maliciosa se esconde en contenido que el modelo recupera, no en lo que el usuario escribió. Para un catálogo completo, MITRE ATLAS documenta catorce categorías de tácticas y más de ochenta técnicas contra los sistemas de IA.
Ejemplos reales de IA adversaria
La IA adversaria no es una curiosidad de laboratorio. Los investigadores han demostrado repetidamente que pequeñas alteraciones físicas en las señales de tráfico pueden engañar a los modelos de percepción de los sistemas de asistencia a la conducción, convirtiendo un stop en una señal ignorada. Las consecuencias de una evasión en ese entorno son evidentes. El envenenamiento tiene un historial igual de amplio. Chatbots públicos que aprenden de las interacciones han sido llevados a comportamientos ofensivos en cuestión de horas mediante entradas maliciosas coordinadas, prueba de que un bucle de retroalimentación abierto es una superficie de ataque. La IA generativa ha ampliado el objetivo. Investigadores de seguridad divulgaron EchoLeak, una inyección de prompt indirecta contra Microsoft 365 Copilot capaz de exfiltrar datos sin ninguna acción inusual del usuario, mostrando que los asistentes basados en recuperación heredan la confianza depositada en el contenido que leen. Y ya es cuestión de escala: el CrowdStrike 2026 Global Threat Report señala que en 2025 los atacantes abusaron de herramientas de IA generativa legítimas en más de noventa organizaciones. Estas técnicas pertenecen al mismo registro de riesgos que cualquier otra amenaza relevante.
Por qué la IA adversaria es un problema de gobernanza, no solo de seguridad
La mayoría de los artículos se detiene en las defensas técnicas. Es un error, porque la robustez adversaria ha pasado de la buena práctica a la obligación legal. El artículo 15 del Reglamento Europeo de IA exige a los sistemas de alto riesgo un nivel adecuado de exactitud, robustez y ciberseguridad, mantenido durante todo su ciclo de vida. El considerando 76 nombra de forma explícita el envenenamiento de datos, los ejemplos adversarios, la evasión del modelo y los ataques a la confidencialidad como riesgos que el proveedor debe abordar. Estas obligaciones se aplican desde el 2 de agosto de 2026. La pregunta se desplaza, por tanto. Ya no importa solo si un modelo puede ser engañado, sino si puedes demostrar, ante un auditor o un regulador, que identificaste el riesgo, aplicaste controles proporcionados y probaste su eficacia. El artículo 15 también espera que los proveedores declaren las métricas de exactitud y robustez en la documentación técnica: la prueba debe existir sobre el papel. En España, la AEPD y la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA) publican orientaciones que apuntan en la misma dirección sobre la seguridad y la protección de datos de los sistemas de IA. Otros marcos señalan el mismo camino. El Marco de Gestión de Riesgos de IA del NIST pide medir y gestionar los riesgos de forma continua, y la norma ISO/IEC 42001 define un sistema de gestión de la IA con controles y un inventario de activos. El hilo común es la rendición de cuentas: un responsable nombrado, un control documentado, una revisión repetible. La brecha es real: en 2025, alrededor del 83 por ciento de las organizaciones planeaba desplegar IA agéntica, pero solo el 29 por ciento se sentía preparado para hacerlo de forma segura.
Cómo defenderse de la IA adversaria
Una defensa eficaz combina dos capas que muchos equipos tratan por separado. La capa técnica reduce la superficie de ataque del modelo. El entrenamiento adversario expone el modelo a ejemplos adversarios durante el desarrollo para que aprenda a resistirlos. El preprocesamiento y el saneamiento de las entradas eliminan las perturbaciones probables antes de que lleguen al modelo. Las pruebas de robustez y el red teaming, incluidas las pruebas adversarias documentadas para los sistemas generativos, sondean el modelo como lo haría un atacante. La supervisión de anomalías observa las entradas y las puntuaciones de confianza en tiempo real, y un control de acceso estricto limita quién puede consultar o ajustar el modelo. La capa de gobernanza decide si esos controles se aplican, se prueban y se mantienen de verdad. El mapeo de controles de AI Sigil formula cada riesgo como prevención, detección y respuesta. Para las entradas adversarias, eso significa prevención mediante entrenamiento adversario y red teaming, detección mediante monitores de anomalías y de confianza, y respuesta mediante alertas, contención y parcheo del modelo. Al vincular estas acciones con las mitigaciones de NIST AI 100-2e2025 y las técnicas de MITRE ATLAS, una lista de amenazas se convierte en un conjunto de controles auditables alojado en tu plataforma de gobernanza. Ninguna herramienta aislada resuelve esto: la robustez se gobierna y se revisa como cualquier otro control.
Integrar la IA adversaria en tu programa de gobernanza
En la práctica, se trata de dar a la IA adversaria un lugar en tu modelo operativo en vez de una mención en una diapositiva. Empieza por inscribir el riesgo adversario en el registro de riesgos de IA y valorarlo según la criticidad de cada sistema: un modelo antifraude o de triaje merece más escrutinio que un chatbot interno. Designa a un único responsable y engancha en él los controles de prevención, detección y respuesta, con las pruebas que cada sistema debe superar. Recoge las evidencias sobre la marcha: resultados de las pruebas adversarias, métricas de robustez, registros de supervisión e incidentes, exactamente la documentación que espera el artículo 15. Fija por último una cadencia de revisión, porque un modelo robusto en el lanzamiento se desvía, y aparecen nuevas técnicas sin cesar. Ahí es donde un sistema de gestión de la IA demuestra su valor. Hacerlo en hojas de cálculo repartidas entre decenas de modelos no escala y deja huecos que un auditor encontrará. Una plataforma que mantiene el inventario, los riesgos, los controles y las evidencias en una única estructura enlazada es lo que permite demostrar, cuando se pida, que la IA adversaria está gobernada y no solo advertida.
Preguntas frecuentes
¿Qué es la IA adversaria? La IA adversaria es la manipulación deliberada de un modelo de machine learning para hacerlo fallar o doblegarlo en favor de un atacante. Este fabrica entradas, envenena datos o explota prompts para que el modelo clasifique mal, filtre información o produzca salidas dañinas, casi siempre sin señales visibles para un observador humano. ¿Qué es un ejemplo adversario? Un ejemplo adversario es una entrada modificada lo justo para engañar a un modelo sin dejar de parecer normal a los ojos humanos. Una foto con píxeles ligeramente alterados, o una señal de stop con pequeñas pegatinas, puede llevar a un modelo muy preciso a una respuesta equivocada. Es la forma clásica de un ataque de evasión. ¿En qué se diferencia un ataque de envenenamiento de una evasión? La diferencia está en el momento. El envenenamiento corrompe los datos o el modelo durante su construcción, plantando un defecto que se entrega con el modelo terminado. La evasión deja el modelo intacto y manipula en cambio una entrada en producción para provocar una clasificación errónea. ¿Se pueden prevenir por completo los ataques adversarios? No. Ningún control aislado elimina el riesgo adversario, porque defensas y ataques evolucionan juntos. El objetivo realista es aumentar su coste y reducir su impacto con controles por capas, entrenamiento adversario, supervisión, red teaming y un proceso de gobernanza que detecta, trata y aprende de los incidentes. ¿Cubre la IA adversaria el Reglamento Europeo de IA? Sí. El artículo 15 exige a los sistemas de alto riesgo ser exactos, robustos y ciberseguros durante todo su ciclo de vida, y el considerando 76 nombra de forma explícita el envenenamiento de datos, los ejemplos adversarios y la evasión del modelo. Estas obligaciones se aplican desde el 2 de agosto de 2026. ¿Qué diferencia hay entre IA adversaria y aprendizaje adversario? En el uso corriente, ninguna. El aprendizaje adversario es el término técnico del campo de investigación, y la IA adversaria la etiqueta más amplia usada en contextos de negocio y seguridad. Ambos designan ataques que explotan cómo aprenden y predicen los modelos.
Conclusión
La IA adversaria es el punto donde la ciberseguridad se encuentra con la gobernanza de la IA. Las familias de ataque, evasión, envenenamiento, extracción e inyección de prompts, están bien documentadas, y las defensas técnicas se conocen. Lo que separa a las organizaciones expuestas de las resilientes es el gobierno del riesgo: un responsable, unos controles, evidencias oponibles a un auditor. Con el artículo 15 del Reglamento Europeo aplicable desde agosto de 2026, es ya un requisito de cumplimiento tanto como de seguridad. Trata la IA adversaria como un riesgo gestionado dentro de tu plataforma de gobernanza de la IA, y convertirás una amenaza cambiante en un riesgo controlado.