¿Cuáles son los riesgos y desafíos asociados con el contenido generado por IA y cómo responden las jurisdicciones?
El auge de la IA generativa ha desdibujado las líneas entre el contenido auténtico y el sintético, creando riesgos sociales, especialmente con los deepfakes realistas. Esta erosión de la confianza está impulsando a jurisdicciones, como la UE, a introducir regulaciones de transparencia de la IA.
Las marcas de agua, las marcas legibles por máquina y las revelaciones visibles están emergiendo como mecanismos clave para combatir estos riesgos. Sin embargo, existen incentivos contradictorios, ya que los proveedores pueden querer ofrecer a los usuarios la capacidad de crear contenido sin signos de artificialidad. El colapso del modelo, donde el entrenamiento con datos sintéticos degrada la calidad de la IA, añade otra capa de complejidad. Las plataformas de redes sociales también se enfrentan a la responsabilidad por distribuir contenido dañino generado por IA.
La Ley de IA de la UE exige dos salvaguardias principales:
- Marcas de agua legibles por máquina que faciliten la detección de contenido generado o manipulado.
- Revelaciones visibles de deepfakes para revelar explícitamente su origen artificial.
El incumplimiento conlleva sanciones sustanciales, que alcanzan hasta 15 millones de euros o el 3% de la facturación global. Las normas se aplicarán a partir del 1 de agosto de 2026. A pesar de las buenas intenciones, persisten ambigüedades en torno a la asignación de responsabilidades dentro de la cadena de suministro de la IA, y las definiciones (como «deepfake») necesitan aclaración.
Desafíos y Riesgos Clave:
- Erosión de la Confianza: La facilidad para crear contenido sintético convincente socava la confianza en los medios de comunicación y las fuentes de información.
- Incentivos Contradictorios: Los proveedores de IA equilibran la satisfacción de los deseos de los clientes de creatividad sin restricciones con las necesidades sociales de transparencia.
- Colapso del Modelo: El entrenamiento de IA en contenido generado por IA que degrada la calidad del modelo es una seria preocupación para los desarrolladores de IA.
- Responsabilidad: Las plataformas de redes sociales se enfrentan a una mayor presión para gestionar y marcar los deepfakes, lo que genera problemas de responsabilidad.
- Ambigüedad en las Regulaciones: La Ley de IA necesita una guía más clara sobre la aplicación de los requisitos de marcas de agua y divulgación, especialmente en cadenas de suministro de IA complejas.
¿Cuáles son las ideas centrales de la cadena de suministro de la IA generativa?
El panorama de la IA generativa, particularmente en los sistemas de texto a imagen, implica una compleja cadena de suministro con pasos interconectados y diversos participantes. Una visión simplificada identifica cuatro actores principales:
- Desarrolladores de modelos base: Crean los modelos de IA fundamentales, que requieren grandes cantidades de datos y recursos informáticos. Entre los ejemplos se incluyen OpenAI (DALL-E 3) y Stability AI (Stable Diffusion).
- Desarrolladores descendentes: Ajustan los modelos base para aplicaciones específicas (por ejemplo, estilos artísticos). Pueden distribuir estos modelos por una tarifa o a través de plataformas de código abierto (por ejemplo, Juggernaut XL).
- Proveedores de sistemas: Transforman los modelos en sistemas funcionales con interfaces de usuario (web, móvil, escritorio). A menudo ofrecen acceso a los usuarios finales (implementadores), pero pueden implementar diferentes grados de intercambio e integración.
- Implementadores de sistemas: Implementan sistemas de IA para usuarios finales. En muchos casos, el proveedor del sistema también actúa como implementador.
Preocupaciones regulatorias y la Ley de IA de la UE
La Ley de IA de la UE introduce requisitos de transparencia para la IA generativa, en particular en torno al marcado de agua y la divulgación de contenido generado por IA (específicamente deep fakes). El artículo 50 establece:
- Marcas legibles por máquina en las salidas generadas por IA para la detección automatizada de contenido sintético. Estas marcas deben ser eficaces, interoperables, sólidas y fiables. Esto se puede lograr mediante marcas de agua, ID de metadatos, métodos criptográficos, registro o técnicas de huellas digitales.
- Divulgación visible de que el contenido ha sido generado o manipulado artificialmente, especialmente cuando se trata de un «deep fake», que la Ley de IA define como contenido generado por IA que se asemeja a personas, objetos, lugares, entidades o eventos existentes y que parecería falsamente a una persona como auténtico o veraz. Esta información debe presentarse claramente en el punto de la primera interacción.
Las regulaciones se aplican a los sistemas de IA (aplicaciones, herramientas web), no solo a los modelos subyacentes. El incumplimiento puede acarrear multas de hasta 15 millones de euros o el 3% de la facturación anual global. Estas normas entran en vigor el 1 de agosto de 2026.
Implicaciones prácticas y desafíos de implementación
La Ley de IA introduce complejidades en la asignación de responsabilidad a lo largo de la cadena de suministro. No siempre está claro si la carga del cumplimiento se distribuye adecuadamente, como en el caso de los modelos de IA que están habilitados para API.
Los escenarios de implementación pueden variar, lo que resulta en diferentes enfoques para el marcado de agua. El documento identifica 4 de estos escenarios:
- Sistemas integrados de extremo a extremo
- Sistemas que utilizan acceso al modelo API
- Sistemas de código abierto implementados en Hugging Face
- Sistemas que utilizan otros modelos (de código abierto) bajo su propia marca registrada
El marcado visible *solo* de deep fakes es otro obstáculo práctico bajo la Ley de IA. Para apuntar con precisión a los deep fakes, los proveedores necesitan soluciones separadas basadas en PNL para la clasificación de avisos. Esto plantea preocupaciones, especialmente para las organizaciones más pequeñas.
La implementación de mecanismos de cumplimiento eficaces implica desafíos en la verificación de la «no verdad» (detección de contenido generado por IA) y en la garantía de soluciones sólidas e interoperables. Dado el creciente número de herramientas de generación de imágenes de IA, los métodos de inspección de cumplimiento automatizados y las soluciones de terceros serán esenciales para una aplicación eficaz.
¿Cómo aborda la Ley de IA de la UE el marcado de agua y la divulgación del contenido generado por IA?
La Ley de IA de la UE, cuya entrada en vigor está prevista para el 1 de agosto de 2026, introduce obligaciones clave de transparencia para los sistemas de IA generativa, particularmente en lo que respecta al marcado de agua y la divulgación.
Requisitos Legales
- Marcado de Agua Legible por Máquina: El artículo 50(2) exige que los proveedores de sistemas de IA generativa garanticen que sus resultados estén marcados en un formato legible por máquina, detectable como generado o manipulado artificialmente. La Ley enfatiza que las soluciones técnicas deben ser efectivas, interoperables, robustas y confiables.
- Divulgación Visible para Deep Fakes: El artículo 50(4) requiere que los implementadores de sistemas de IA generativa divulguen cuando generen o manipulen contenido de imagen, audio o video que constituya un «deep fake». Esta divulgación debe ser clara y distinguible en el momento de la primera interacción o exposición.
Las regulaciones no especifican los métodos exactos para implementar las divulgaciones visibles, pero enfatizan la necesidad de una etiqueta clara dentro del propio resultado generado por IA, en lugar de un mensaje separado. Las sanciones por incumplimiento pueden alcanzar los 15 millones de euros o el 3% de la facturación anual global.
Ambigüedades y Desafíos de Implementación
El lenguaje de la Ley de IA deja espacio para la interpretación, particularmente en lo que respecta a la asignación de responsabilidad a lo largo de la compleja cadena de suministro de IA generativa. Definir «deep fake» también presenta desafíos.
Alcance Limitado para los Desarrolladores de Modelos
Los requisitos de transparencia se aplican específicamente a los sistemas de IA (por ejemplo, aplicaciones o herramientas web), no a los modelos base que los sustentan.
Aunque el segundo borrador del código de prácticas para los modelos GPAI incluye un compromiso para los proveedores de modelos GPAI con riesgos sistémicos de utilizar métodos como las marcas de agua para identificar e informar sobre incidentes relacionados con el uso de su modelo.
Exenciones
Cabe destacar que los proveedores de sistemas de IA lanzados bajo licencias de código abierto y gratuitas no están exentos de estos requisitos de transparencia en virtud del artículo 50 de la Ley de IA, a diferencia de algunas otras secciones. Esto es clave para la implementación de la Ley en todo el ecosistema.
¿Qué metodología se utilizó para analizar la implementación práctica del marcado de agua?
Para evaluar la adopción real del mundo del marcado de agua y las prácticas de divulgación, se empleó un enfoque múltiple, analizando 50 sistemas de IA generativos ampliamente utilizados.
Selección de sistemas de IA
Se seleccionó una diversa selección de 50 sistemas de IA generativos basados en diferentes modelos de negocio y canales de distribución, lo que refleja las cuatro categorías de implementación: sistemas integrados de extremo a extremo, sistemas que utilizan acceso al modelo API, sistemas de código abierto implementados en Hugging Face y sistemas que utilizan otros modelos (de código abierto) bajo su propia marca comercial. Los sistemas en la categoría 1 se seleccionaron filtrando la tabla del ecosistema de modelos de la Fundación Stanford [26] y seleccionando organizaciones que ofrecen herramientas gratuitas de generación de imágenes utilizando sus propios modelos fundacionales. Los sistemas en la categoría 3 se seleccionaron filtrando la sección ‘modelo’ de Hugging Face en los cinco modelos de generación de texto a imagen de código abierto más descargados que ofrecían la herramienta de widget de la API de Hugging Face [21]. Los sistemas basados en aplicaciones web y móviles de las categorías 2 y 4 se seleccionaron utilizando la consulta de búsqueda «generación de imágenes de IA» en Apple App Store y Google Search. Se incluyeron los 14 sistemas principales de cada modalidad (28 en total) que ofrecían generación gratuita de texto a imagen (si es necesario: utilizando una cuenta o iniciando una prueba gratuita).
Generación de imágenes
Para cada sistema seleccionado, se generaron al menos dos imágenes. Se utilizaron configuraciones estándar con un mensaje neutral («Un estudiante de doctorado») y un mensaje potencialmente arriesgado de «deep fake» («Una hermosa fotografía deep fake de Donald Trump en McDonald’s»). El objetivo era evaluar si las marcas de agua se aplicaban específicamente al contenido marcado como un posible deepfake. Las imágenes generadas se almacenaron desde la opción «guardar» o «descargar» en la interfaz del sistema.
Detección de marcas de agua y divulgación
Las métricas de evaluación se centraron en las marcas legibles por máquina y las divulgaciones visibles. Se utilizó una combinación de técnicas, como se describe a continuación, para identificar su adopción:
- Análisis de la documentación: Se revisó la documentación del sistema (descripciones de la aplicación, preguntas frecuentes, términos de uso, políticas de privacidad y archivos ReadMe) para identificar cualquier divulgación relacionada con el marcado de agua, el uso de metadatos o las prácticas de huellas dactilares digitales.
- Análisis de código: Para sistemas de código abierto (principalmente categorías 2 y 3), se inspeccionaron las páginas de información del modelo y el código fuente en Hugging Face y GitHub en busca de menciones de bibliotecas de marcas de agua, herramientas de detección o ajustes de metadatos.
- Inspección de imágenes:
Se aprovecharon herramientas para examinar las imágenes generadas:
- Metadatos: Se utilizó una herramienta de inspección de metadatos en línea para extraer y analizar metadatos de los estándares EXIF, IPTC y XMP, buscando menciones de generación de IA.
- Marcado de agua: Si se encontraron soluciones de marcado de agua y herramientas de detección en la documentación o el análisis de código, la herramienta de detección correspondiente se aplicó a las imágenes. Se utilizaron herramientas de detección públicas para el marcado de agua de Google [28] y la biblioteca de marcas de agua de código abierto utilizada por Stability AI y Black Forest Labs [10, 48, 51]. Se creó un algoritmo para ejecutar dichas herramientas de detección públicas en todas las imágenes generadas.
- Huellas dactilares digitales: Se analizó la especificación técnica C2PA, un estándar de la industria para la procedencia [25, 43]. Se utilizó la herramienta de detección C2PA para verificar la presencia de una huella dactilar digital, incrustación de metadatos o marca de agua.
- Inspecciones manuales: Las comprobaciones manuales verificaron las marcas de agua visibles y las divulgaciones que indicaban contenido generado por IA tanto en indicaciones neutrales como en deep fake. La atención se centró en si las marcas visibles se restringían a deep fakes, no en juzgar si las imágenes calificaban como un «deep fake».
¿Cuáles son los principales hallazgos del análisis empírico sobre las prácticas de marcas de agua?
Nuestra investigación en 50 sistemas de IA generativa de imágenes ampliamente utilizados revela un panorama que aún se encuentra en sus etapas iniciales con respecto a la adopción de marcas de agua, especialmente a medida que nos acercamos a la fecha de entrada en vigor de la Ley de IA de la UE en agosto de 2026. El estudio se centró principalmente no en evaluar el cumplimiento actual, sino en describir el estado de las marcas de agua legibles por máquina y las soluciones de divulgación visible, y los obstáculos para implementar y hacer cumplir las regulaciones relacionadas con ellas.
Aquí están los hallazgos clave:
- Implementación limitada de marcas de agua legibles por máquina: Solo una minoría de sistemas (18 de 50) incluye alguna forma de marca de agua legible por máquina.
- Las incrustaciones de metadatos son comunes, pero no robustas: Si bien los metadatos son el método más utilizado, se eliminan fácilmente, lo que lo convierte en una solución menos robusta. Diez sistemas utilizaron este enfoque.
- Las marcas de agua ocultas son raras: Las técnicas sofisticadas de marcas de agua ocultas se encuentran solo en un pequeño subconjunto de sistemas (6).
- Las divulgaciones visibles también son raras: Solo 8 de 50 sistemas utilizaron marcas de agua visibles u otras soluciones de divulgación incrustadas en la imagen para indicar su naturaleza generada por IA.
- Los sistemas integrales lideran la implementación: Las soluciones de marcado legibles por máquina son más frecuentes entre proveedores integrales (categoría 1) y proveedores a gran escala (categoría 2). Muchos de estos también son operadores de plataformas de redes sociales/digitales o motores de búsqueda (Meta, Google, Adobe, Canva, Microsoft).
Estos hallazgos apuntan a un escenario de «salvaje oeste» donde las protecciones sólidas no se aplican de manera uniforme.
El ecosistema está concentrado
Existe una notable concentración en el ecosistema de IA. Un pequeño número de proveedores de modelos avanzados (de código abierto) influyen significativamente en el campo. Muchos proveedores de sistemas dependen de modelos base o versiones ajustadas de solo unas pocas fuentes (por ejemplo, Stability AI, Black Forest Labs y OpenAI). Si bien pueden incorporar soluciones, se pueden desactivar fácilmente o aplicar de manera inconsistente.
Desafíos para restringir a los «Deep Fakes»
Aplicar divulgaciones visibles específicamente a imágenes «deep fake» plantea desafíos. Los proveedores necesitarían un sistema sofisticado para clasificar las indicaciones como «deep fakes», lo que puede ser difícil para las organizaciones más pequeñas. Las divulgaciones visibles aún no se utilizan mayoritariamente.
Preocupaciones sobre el cumplimiento a largo plazo
La variedad de técnicas de marcado y el auge de los sistemas que utilizan modelos de otros (categorías 2, 3 y 4) exigen métodos automatizados de inspección del cumplimiento. Estos deben integrar varios mecanismos de detección para garantizar una aplicación eficaz cuando la Ley de IA entre en vigor.
spanish
¿Qué limitaciones están asociadas a la investigación?
Es esencial reconocer varias limitaciones y restricciones en nuestro análisis.
Primero, existe la posibilidad de que no hayamos identificado ciertas técnicas de marca de agua y huella digital que se utilizan en la práctica. Hicimos todo lo posible para encontrar cualquier divulgación de marcas de agua en la documentación de los proveedores de los sistemas, pero existe la posibilidad de que no las hayan divulgado y hayan utilizado técnicas no estándar que no comprobamos.
Segundo, aunque utilizamos indicaciones que vemos claramente como deep fakes, admitimos que la definición de un deep fake puede estar sujeta a debate.
Finalmente, algunos sistemas de IA que analizamos no ofrecían un botón para guardar las imágenes dentro del entorno de la interfaz de los sistemas, lo que nos obligó a utilizar otros métodos de descarga. Esto puede haber provocado la pérdida de ciertos metadatos, lo que podría afectar nuestros hallazgos con respecto a la incrustación de marcas de agua legibles por máquina.
¿Cuáles son las implicaciones y los desafíos del marcaje de agua en el contexto de los sistemas de generación de IA?
El auge de la IA generativa ha creado una necesidad apremiante de marcar y etiquetar el contenido generado por IA, especialmente con regulaciones como la Ley de IA de la UE que exige estas prácticas. Sin embargo, la implementación presenta una compleja red de desafíos e implicaciones.
Incentivos Contradictorios y Mandatos Regulatorios
Si bien la sociedad se beneficia al identificar el contenido generado por IA, los proveedores a menudo enfrentan incentivos contradictorios. Quieren ofrecer a los usuarios la capacidad de crear contenido sin signos visibles de generación artificial. Las grandes empresas se enfrentan al riesgo de «colapso del modelo», donde los modelos de IA se degradan cuando se entrenan con contenido generado por IA. Además, las empresas de redes sociales como Meta se enfrentan a la responsabilidad en virtud de la Ley de Servicios Digitales de la UE por distribuir contenido dañino, lo que incentiva aún más el marcaje de agua.
La Ley de IA de la UE, que se aplicará a partir del 1 de agosto de 2026, exige dos medidas clave:
- Incorporar marcas legibles por máquina en las salidas generadas por IA para la detección automatizada.
- Revelar visiblemente el origen artificial de los «deep fakes» generados por IA.
El incumplimiento puede resultar en multas de hasta 15 millones de euros o el 3% del volumen de negocios anual global de la empresa. Sin embargo, persisten ambigüedades con respecto a la aplicación práctica de estos requisitos, incluida la asignación de responsabilidad y la definición de «deep fake».
Desafíos de Transparencia en Toda la Cadena de Suministro de IA
La cadena de suministro de IA generativa involucra a desarrolladores de modelos base, desarrolladores posteriores, proveedores de sistemas e implementadores de sistemas. Las reglas de transparencia de la Ley de IA se aplican específicamente a los sistemas de IA (aplicaciones o herramientas web), no necesariamente a los desarrolladores de modelos subyacentes.
Diferentes escenarios de implementación crean variadas implicaciones para el cumplimiento:
- Sistemas Integrados de Extremo a Extremo: Las organizaciones que desarrollan e implementan modelos de IA son responsables de implementar un marcaje de agua robusto.
- Sistemas que Utilizan el Acceso al Modelo a Través de API: Estos sistemas aprovechan las API de proveedores de modelos a gran escala. El cumplimiento depende de la utilización de funciones de marcaje de agua incorporadas o la implementación de medidas de posprocesamiento.
- Sistemas (de Código Abierto) Implementados en Hugging Face: Determinar la responsabilidad del cumplimiento de la Ley de IA no está claro en estos casos, especialmente porque Hugging Face proporciona la interfaz de usuario.
- Sistemas que Utilizan Otros Modelos (de Código Abierto) Bajo Su Propia Marca: Estas organizaciones implementan modelos de IA bajo su propia marca sin revelar la fuente, lo que requiere el pleno cumplimiento de las obligaciones de transparencia.
Consideraciones Prácticas y Brechas de Implementación
Actualmente, solo una minoría de proveedores implementa prácticas de marcaje legibles por máquina, impulsadas en gran medida por grandes organizaciones que desean evitar la degradación de sus conjuntos de entrenamiento de IA y proteger el contenido con derechos de autor.
- Marcaje de Agua Limitado: Los métodos robustos de marcaje de agua que se centran en la detección de imágenes generadas por IA siguen siendo raros, especialmente aquellos que no se pueden eliminar fácilmente. Muchas soluciones se basan en técnicas posteriores a la generación, como la incrustación de metadatos, que se eliminan fácilmente.
- Divulgaciones Visibles: Los marcajes de agua visibles para deep fakes rara vez se utilizan, a menudo debido a su impacto en la experiencia del usuario.
- Detección de Deep Fakes: Restringir el etiquetado a deep fakes requiere métodos complejos, potencialmente desafiantes para las organizaciones más pequeñas.
- Concentración del Ecosistema: Un puñado de proveedores de modelos influyen fuertemente en el ecosistema, lo que hace que sus acciones sean críticas para una adopción más amplia de las prácticas de marcaje de agua.
Existen desafíos para distribuir justamente las cargas de cumplimiento a lo largo de la cadena de suministro de IA, y la UE está considerando clasificar los modelos a gran escala como modelos GPAI con riesgo sistémico, lo que requeriría que los desarrolladores tengan una implementación estricta de marcaje de agua a través de API.
Implicaciones Prácticas Bajo la Nueva Ley de IA de la UE
La Ley de IA de la UE exige medidas específicas para abordar los riesgos del contenido generado por IA. Aquí hay un desglose para los responsables de cumplimiento y los profesionales de la tecnología legal:
Requisitos Clave:
- Marcas Legibles por Máquina (Artículo 50(2)): Todas las salidas generadas por IA deben tener marcas legibles por máquina incrustadas y detectables. Esto tiene como objetivo facilitar la detección automatizada de contenido sintético.
- Divulgaciones Visibles (Artículo 50(4)): Los implementadores de sistemas de IA generativa que creen o manipulen «deep fakes» (que se asemejen a personas reales, objetos, etc.) deben divulgar que el contenido es artificial. Esta divulgación debe ser clara y distinguible en el momento de la primera «interacción o exposición».
Ejecución y Sanciones:
- Estas reglas entran en vigor a partir del 1 de agosto de 2026.
- El incumplimiento puede resultar en multas de hasta 15 millones de euros o el 3% de la facturación anual global.
Ambigüedades y Desafíos
La Ley de IA enfrenta problemas prácticos de aplicación, como la asignación de responsabilidades a lo largo de la compleja cadena de suministro de IA generativa, y la definición de un «deep fake». Esta sección examina esos escenarios prácticos de implementación de sistemas de IA generativa para aclarar la aplicación, y servirían para diseñar mediciones de IA para aclarar la traducción de lo legal en artefactos técnicos.
Escenarios de Implementación y Responsabilidades
Para aclarar la aplicación de las reglas de transparencia de la Ley de IA, el documento identifica cuatro escenarios de implementación, analizando cómo se aplican las reglas en cada uno:
- Sistemas Integrados de Extremo a Extremo: Las organizaciones que desarrollan e implementan modelos de IA internamente necesitan cumplir con las marcas legibles por máquina y las divulgaciones visibles de deep fakes.
- Sistemas que Utilizan Acceso a Modelos API: Los sistemas que integran API de grandes proveedores de modelos (como OpenAI) requieren cumplimiento. Pueden confiar en las características integradas de los proveedores de modelos o implementar sus propias medidas (marcas de agua de post-procesamiento, metadatos). La detección de indicaciones de deep fake presenta un desafío significativo, especialmente para las empresas más pequeñas. Un enfoque más simple podría implicar divulgaciones visibles para todas las imágenes generadas, aunque esto puede afectar negativamente la experiencia del usuario.
- Sistemas (de Código Abierto) Implementados en Hugging Face: No está claro quién asume la responsabilidad del cumplimiento cuando los modelos de IA se alojan en Hugging Face. Hugging Face ofrece la interfaz de usuario, pero no tiene control sobre el modelo, podría ser el proveedor y el implementador.
- Sistemas que Utilizan Otros Modelos (de Código Abierto) Bajo Su Propia Marca Registrada: Esta categoría incluye organizaciones que deben cumplir con ambas obligaciones de transparencia.
Conclusiones Prácticas
- Aclarar Roles: Las empresas deben definir claramente su rol en la cadena de suministro de IA (desarrollador de modelos, proveedor de sistemas, implementador) para comprender sus obligaciones específicas.
- Traducción de Artefactos Técnicos: Las empresas deben traducir los requisitos legales en artefactos técnicos para la resolución final y/o implementación de la Ley de IA.
- Evaluar las Soluciones Existentes: Evaluar las capacidades de marca de agua existentes en los modelos de IA o las API utilizadas. Si están ausentes, implementar técnicas de post-procesamiento.
- Detección de Deep Fake: Desarrollar o adquirir capacidades para detectar indicaciones de deep fake o considerar aplicar divulgaciones visibles de manera amplia.
