Cómo la UE Puede Detener a los Chatbots de IA de Ayudar en Ataques Violentos
Planear un ataque violento nunca ha sido tan fácil. En mayo de 2025, un niño finlandés de 16 años apuñaló a tres de sus compañeras, un ataque que planeó tras una extensa conversación con un chatbot de IA. Se dice que el perpetrador utilizó el chatbot para desarrollar un manifiesto y discutir el enfoque y la estrategia del ataque.
En un informe reciente, se confirmó que 8 de cada 10 de los chatbots de IA más populares ayudarían a un adolescente a planear un ataque violento. Los investigadores probaron si el chatbot proporcionaría información dañina y si fomentaría la violencia. En la mayoría de los casos, la respuesta fue afirmativa. Aparte de un chatbot específico, la mayoría de ellos también fallaron consistentemente en hacer conexiones entre diferentes indicaciones para detener lo que claramente era un plan de violencia en el mundo real.
Los Peligros del Uso de Chatbots de IA
A través de eventos reales y de investigaciones decisivas, sabemos que los peligros del uso de chatbots de IA —especialmente por parte de menores— son reales. La UE tiene una solución a mano: regular los chatbots de IA bajo la Ley de Servicios Digitales (DSA). Dada la naturaleza de estos nuevos servicios en línea y los millones de usuarios europeos que interactúan a diario con chatbots, los responsables de la formulación de políticas deben hacer cumplir la DSA en los proveedores de chatbots de IA.
Marco Legal Actual
En este momento, la DSA solo regula la IA generativa si está integrada en una Plataforma de Gran Tamaño en Línea (VLOP) o en un Motor de Búsqueda de Gran Tamaño en Línea (VLOSE). La Comisión Europea también está evaluando si designar a ciertos chatbots como VLOSE, representando un primer paso en la regulación de chatbots independientes.
La Ley de IA, que se ha mencionado mucho, regula principalmente la IA a nivel de modelo. Existen obligaciones de transparencia para los modelos de IA de propósito general que subyacen a los chatbots, pero el Código de Práctica GPAI voluntario puede hacer poco para abordar los problemas que surgen de una plataforma orientada al usuario.
Riesgos de la Propuesta de Omnibus de IA
Al mismo tiempo, las discusiones actuales sobre una propuesta de omnibus de IA corren el riesgo de socavar la respuesta de la UE a las amenazas reales de la IA. Las propuestas para retrasar la implementación y suspender las obligaciones para sistemas de IA de alto riesgo crearían incertidumbre legal y enviarían una señal clara a las empresas de IA de que el cumplimiento puede esperar. Cambios sugeridos a un artículo específico permitirían a los proveedores de sistemas de IA de alto riesgo evaluar el nivel de riesgo de sus propias tecnologías, lo que va en contra de los principios de transparencia y responsabilidad de la Ley de IA.
Necesidad de una Nueva Regulación
Si bien la aplicación actual de la DSA y la Ley de IA son pasos importantes, en última instancia, no proporcionan la responsabilidad y la transparencia necesarias. La DSA es una legislación fuerte, creada para proteger a los usuarios de los daños de las plataformas digitales. Sin embargo, actualmente no considera a los chatbots como servicios intermedios, lo que debería cambiar. Las empresas tecnológicas ya no pueden alegar ser neutrales cuando sus productos generan contenido y crean riesgos en el mundo real.
Propuestas a Corto y Largo Plazo
En el corto plazo, los chatbots de IA pueden ser tratados como proveedores de alojamiento bajo la DSA. Como servicio que almacena las indicaciones de los usuarios a su solicitud, los chatbots se ajustan a esta definición. Esto significa que algunas obligaciones clave ya se aplican, incluyendo mecanismos de aviso y acción. Los chatbots más grandes también podrían ser designados como VLOSEs, lo que les requeriría realizar evaluaciones de riesgo.
Sin embargo, esto no sería suficiente, ya que las obligaciones de los proveedores de alojamiento son limitadas. A largo plazo, la DSA necesita enmiendas específicas para introducir una nueva definición y categoría para los chatbots de IA que no dependa de la difusión pública de información. Esta nueva categoría aplicaría las obligaciones generales sobre servicios intermedios y proveedores de alojamiento, junto con disposiciones relevantes para la seguridad del usuario.
Conclusión
Los usuarios europeos están recurriendo cada vez más a los chatbots para buscar información y establecer conexiones. La UE tiene un sólido mecanismo legislativo para proteger los derechos de los usuarios y su exposición a riesgos derivados del uso de la IA. Por lo tanto, es imperativo que los responsables de la formulación de políticas no retrasen la Ley de IA y hagan cumplir la DSA en los chatbots de IA, antes de que se vuelva completamente ineficaz.
