De la contaminación de datos a los agentes de IA: La próxima ola de amenazas cibernéticas
Las herramientas de inteligencia artificial (IA) se están propagando rápidamente en diversas industrias, ofreciendo a las organizaciones nuevas herramientas para la eficiencia, la percepción y el crecimiento. Sin embargo, a medida que la adopción se acelera, también aumenta la exposición a los riesgos cibernéticos.
Si bien la IA puede fortalecer las defensas, sus capacidades también están siendo aprovechadas por los cibercriminales. El Foro Económico Mundial reportó un aumento del 223% en las aplicaciones de IA generativa en la dark web entre 2023 y 2024. Asimismo, una encuesta realizada por la firma de capacitación en ciberseguridad SoSafe en marzo de este año reveló que el 87% de los profesionales de seguridad habían encontrado un ataque impulsado por IA en su negocio.
Aprendizaje automático adversarial: Ataques a modelos de IA
Una de las principales áreas de preocupación es el aprendizaje automático adversarial, una familia de ciberataques que apunta a los modelos de IA en varias etapas de su desarrollo. Se destacó que existen dos formas que están ganando atención: ataques de contaminación y ataques a la privacidad.
Ataques de contaminación
La contaminación de datos se refiere a los intentos de interferir con las salidas de un modelo de IA mediante la manipulación de los datos utilizados para entrenarlo. Esta contaminación puede ocurrir de manera activa, cuando un hacker o un interno inserta archivos corruptos en un conjunto de datos de entrenamiento, o de manera pasiva, cuando se incorpora inadvertidamente datos contaminados.
Un ejemplo de 2023 mostró que los investigadores desarrollaron una herramienta para incrustar pequeñas cantidades de datos corruptos en obras de arte digitales. Estos archivos eran invisibles a simple vista y difíciles de detectar para las herramientas automatizadas. Si se utilizaban en el entrenamiento de IA, podrían degradar las salidas de un modelo. El riesgo es efectivo y económico: los investigadores demostraron que podían contaminar el 0.01% de un conjunto de datos de entrenamiento popular por solo $60.
Dos características hacen que la contaminación sea particularmente sistémica:
- Vulnerabilidad en todos los tipos de modelos – Los modelos de procesamiento del lenguaje natural, los sistemas de visión por computadora y la IA generativa pueden ser todos comprometidos.
- Concentración de datos de entrenamiento – Aunque existen cientos de miles de conjuntos de datos, la mayoría de los desarrolladores dependen de un grupo relativamente pequeño. Apuntar a esos conjuntos de datos puede comprometer una amplia gama de modelos de IA.
El aprendizaje federado, donde múltiples organizaciones entrenan conjuntamente un modelo mientras mantienen la custodia de sus propios datos, también conlleva riesgos. Si incluso un participante es comprometido, el modelo compartido puede ser corrompido.
Ataques a la privacidad
Los ataques a la privacidad, por otro lado, apuntan a modelos que ya han sido entrenados y desplegados. Estos ataques pueden extraer datos sensibles, revelar detalles sobre cómo funciona un modelo o incluso replicar el modelo mismo.
Los riesgos son significativos porque los modelos de IA suelen contener información personalmente identificable, propiedad intelectual y secretos comerciales. También se destacó el problema de la filtración de datos, que ocurre cuando los sistemas de IA exponen inadvertidamente información sensible o cuando los usuarios humanos cargan datos confidenciales en herramientas de IA sin salvaguardias.
En 2023, una herramienta de transcripción distribuyó accidentalmente notas confidenciales de reuniones a los participantes equivocados. No fue hackeada, simplemente cometió un error. Otro caso ampliamente informado implicó a un empleado de tecnología que subió código fuente propietario a un chatbot público.
El auge de los agentes de IA y los riesgos cibernéticos
La tercera categoría de riesgo son los agentes de IA, también conocidos como IA agencial. Estos sistemas amplían las capacidades de los grandes modelos de lenguaje al permitirles operar de manera autónoma.
Teóricamente, los agentes de IA pueden navegar por la web, acceder a conjuntos de datos a través de APIs, escribir y ejecutar código, realizar transacciones en línea e incluso programar sus propios subagentes. Sin embargo, esta autonomía conlleva riesgos profundos, incluidos errores y alucinaciones que pueden causar filtraciones de datos.
“Cuanta más libertad le des a un agente de IA, mayor será la posibilidad de que pueda malutilizar o exponer datos sensibles, interrumpir sistemas empresariales o ser secuestrado por hackers”, advirtió. Además, como imitan a los actores humanos, existe el riesgo de que los hackers puedan suplantar a los agentes de IA o, peor aún, que los empleados puedan confundir a un hacker humano con un legítimo agente de IA dentro de los sistemas de la empresa.
Cómo abordar los riesgos de IA para los clientes: Consejos para corredores
A medida que estos riesgos emergen, los clientes buscarán cada vez más a sus corredores para obtener orientación sobre cómo gestionar las exposiciones de IA y cómo la cobertura de seguros puede responder.
Se sugieren pasos prácticos para los corredores:
- Preguntar sobre los casos de uso de IA – Alentar a los clientes a mapear dónde se está implementando la IA en su organización, desde chatbots de servicio al cliente hasta desarrollo de código, para comprender los puntos de exposición potenciales.
- Examinar la gobernanza y los controles – Solo alrededor de un tercio de las empresas reportan tener políticas de gobernanza de IA. Los corredores pueden ayudar a los clientes a reconocer la importancia de una supervisión formal, incluidas políticas de uso aceptable y capacitación para empleados.
- Resaltar los riesgos de la cadena de suministro – Muchas herramientas de IA dependen de conjuntos de datos de terceros o modelos de código abierto. Los corredores deben discutir con los clientes cómo se evalúan esos proveedores y qué controles existen para monitorear la manipulación.
- Revisar cuidadosamente el lenguaje de la póliza cibernética – Las pólizas cibernéticas estándar pueden no abordar explícitamente el aprendizaje automático adversarial, los agentes de IA o la filtración de datos. Los corredores deben trabajar con los suscriptores para aclarar si y cómo se cubren estos riesgos.
- Posicionar la gestión de riesgos como un diferenciador – Los clientes que pueden demostrar una sólida gobernanza de IA, higiene de datos y supervisión de proveedores están en una mejor posición para recibir mejores términos y precios de seguros.
