El abuso de deepfake de IA en X genera un escrutinio global sobre la seguridad de la plataforma
Una demanda colectiva presentada en los Estados Unidos ha desencadenado un renovado escrutinio global sobre la seguridad de la inteligencia artificial, después de que el chatbot de IA de X, Grok, fuese utilizado para generar imágenes sexualizadas no consensuadas de mujeres, incluidos niños.
La demanda, presentada el 23 de enero de 2026, sigue a un incidente en el que una mujer publicó una fotografía completamente vestida de sí misma en X. Otros usuarios solicitaron a Grok que manipulara la imagen en un deepfake sexualizado. La imagen alterada circuló públicamente durante varios días antes de ser eliminada.
Los documentos judiciales indican que la demandante experimentó un significativo estrés emocional, incluyendo miedo a daños a su reputación y carrera profesional. La demanda alega que X y xAI no implementaron las salvaguardias adecuadas para prevenir la generación y difusión de imágenes íntimas no consensuadas, describiendo la conducta de la plataforma como «despreciable».
Diseño de IA bajo escrutinio
Según la queja, el diseño del sistema de Grok carecía de salvaguardias básicas de seguridad de contenido. La demanda alega que los mensajes internos del sistema instruyen al chatbot que, a menos que se restrinja explícitamente, no enfrenta «limitaciones» en contenido adulto u ofensivo. Los demandantes argumentan que la ausencia de salvaguardias predeterminadas hace que el daño previsible sea inevitable, particularmente en un entorno de plataforma ya conocido por el acoso y el abuso.
Tras una reacción pública a principios de enero, xAI no desactivó inmediatamente la capacidad de manipulación de imágenes. En su lugar, la empresa restringió el acceso a la función a los usuarios «Premium» que pagan en X. Esta decisión monetiza efectivamente el comportamiento abusivo en lugar de prevenirlo.
Un movimiento hacia la responsabilidad
Las autoridades en múltiples países han lanzado investigaciones o emitido advertencias en relación con Grok. Reguladores de la Unión Europea han iniciado procedimientos formales bajo la Ley de Servicios Digitales, examinando si X falló en evaluar y mitigar riesgos sistémicos. Brasil emitió un ultimátum de 30 días exigiendo a xAI que detenga la generación de imágenes sexualizadas falsas o enfrente consecuencias legales.
En India, se advirtió que la eliminación de cuentas y contenido por parte de X era insuficiente, aumentando la posibilidad de perder protecciones como intermediario. El regulador del Reino Unido, Ofcom, está evaluando si X incumplió sus obligaciones bajo la Ley de Seguridad en Línea. Canadá amplió una investigación de privacidad sobre si xAI obtuvo consentimiento legal para utilizar datos personales en la generación de imágenes.
Este caso ilustra un fracaso recurrente en la gobernanza de plataformas, que es el despliegue de tecnologías poderosas sin salvaguardias legalmente exigibles para la dignidad, el consentimiento y la prevención de daños. La litigación de Grok en los Estados Unidos y las respuestas regulatorias internacionales siguientes pueden ayudar a determinar si las plataformas finalmente deben internalizar los costos sociales de las tecnologías que despliegan.
