Domando la IA Generativa: Regulación, Realidad y el Camino por Delante

¿Cuáles son las características clave del panorama actual de los sistemas de IA generativa?

A medida que la IA generativa continúa su rápida evolución, varias características clave definen el panorama actual, impactando tanto su potencial como los desafíos que plantea.

Conocimientos Tecnológicos Centrales

Los modelos de IA generativa, particularmente los sistemas de texto a imagen (TTI), han logrado un fotorrealismo notable, a menudo dificultando incluso a los expertos distinguir el contenido generado por IA de las imágenes creadas por humanos. Este salto en la calidad proviene de los avances en las técnicas de aprendizaje profundo y la capacidad de aprender de vastos conjuntos de datos no etiquetados. Estos modelos analizan patrones en los datos de entrenamiento para generar nuevo contenido con características similares.

Sin embargo, esta capacidad tiene un costo significativo. Entrenar estos modelos avanzados requiere inmensos recursos computacionales y acceso a conjuntos de datos masivos. En consecuencia, el desarrollo se concentra entre unas pocas grandes empresas tecnológicas e instituciones académicas bien financiadas.

Preocupaciones Regulatorias y de Cumplimiento

La Ley de IA de la UE es la iniciativa regulatoria más completa hasta la fecha que aborda los riesgos que plantea el contenido generado por IA. Sus requisitos clave incluyen:

• Marcado de agua legible por máquina: Todas las salidas de los sistemas de IA generativa deben estar marcadas en un formato legible por máquina, detectable como generado o manipulado artificialmente. La interoperabilidad, la solidez y la confiabilidad son consideraciones clave.
• Divulgaciones visibles de deepfakes: Los implementadores de sistemas de IA generativa que crean o manipulan contenido de imagen, audio o video que constituya un «deepfake» deben divulgar claramente su origen artificial. Esta información debe proporcionarse en el momento de la primera interacción o exposición.

El incumplimiento puede resultar en multas sustanciales, hasta 15 millones de euros o el 3% de la facturación anual global. Las reglas de transparencia de la Ley de IA entrarán en vigor el 1 de agosto de 2026.

Implicaciones Prácticas y Desafíos

A pesar de las regulaciones inminentes, la implementación del marcado de agua sigue siendo limitada. Un análisis de 50 sistemas de IA generativa ampliamente utilizados revela varias tendencias preocupantes:

• Marcado de agua inconsistente: La implementación es inconsistente y varía significativamente entre los diferentes proveedores y métodos de implementación.
• Vulnerabilidad de metadatos: La incrustación de metadatos es el enfoque más común, pero es fácilmente extraíble, lo que socava su eficacia como marcador robusto.
• Enfoque del sistema de extremo a extremo: Las prácticas de marcado legibles por máquina se encuentran principalmente en sistemas de extremo a extremo (sistemas de Categoría 1) y proveedores a gran escala (sistemas de Categoría 2). Esto sugiere que las grandes organizaciones están principalmente preocupadas por la procedencia de los datos o los derechos de autor, no necesariamente por la detección de la «no verdad».
• Evitación de marcas visibles: Las marcas de agua visibles siguen siendo raras, en gran parte debido a las preocupaciones sobre la experiencia del usuario y el impacto potencial en los modelos de negocio. Cuando se utilizan, a menudo se aplican a todas las imágenes generadas, no específicamente a los deepfakes, como exige la Ley de IA. La mayoría de las marcas visibles también se pueden eliminar después del pago.

Implementar la divulgación apropiada para los deepfakes presenta un desafío distinto. Requiere un sistema separado, probablemente basado en PNL, para clasificar las indicaciones como deepfakes. A las organizaciones más pequeñas les resultaría difícil y costoso de implementar.

El ecosistema también está dominado por unos pocos actores principales. Muchos proveedores de sistemas confían en un puñado de modelos, principalmente de Stability AI, Black Forest Labs y OpenAI. Aunque estos proveedores de modelos se esfuerzan por incorporar el marcado de agua, estas marcas de agua a menudo se desactivan fácilmente o no se aplican de manera consistente en los sistemas basados en API. Hugging Face debería hacer cumplir los requisitos de marcado de agua para los modelos de código abierto alojados en su plataforma.

La Ley de IA introduce ambigüedades en torno a los roles de los proveedores, implementadores, modelos y sistemas, lo que podría afectar la eficacia del cumplimiento y dividir la responsabilidad en toda la compleja cadena de suministro de IA generativa.

¿Cómo se aplican las obligaciones de transparencia de la Ley de IA de la UE en el contexto del marcaje con marcas de agua y la divulgación de contenido generado por IA?

La Ley de IA de la UE exige transparencia para el contenido generado por IA mediante dos medidas clave: la inserción de marcaciones legibles por máquina en las salidas generadas por IA y la divulgación visible del origen artificial de los deep fakes generados por IA. El incumplimiento puede resultar en multas significativas, hasta el 3% de la facturación anual global o 15 millones de euros. Estas reglas entrarán en vigor a partir del 1 de agosto de 2026. Sin embargo, persisten desafíos en torno a la aplicación práctica, la asignación de responsabilidad dentro de la cadena de suministro de IA generativa y las definiciones precisas, como la de un «deep fake».

Obligaciones Clave Bajo el Artículo 50

El Artículo 50 de la Ley de IA de la UE aborda específicamente los sistemas de IA generativa, delineando estas obligaciones:

• Marcaciones legibles por máquina: Los proveedores de sistemas de IA generativa deben asegurar que las salidas estén marcadas en un formato legible por máquina, detectable como generado o manipulado artificialmente. Las soluciones técnicas deben ser efectivas, interoperables, robustas y fiables, dentro de la viabilidad técnica y considerando el tipo de contenido y los costos de implementación. Técnicas como marcas de agua, identificaciones de metadatos, métodos criptográficos, registro y huellas digitales se enumeran como posibles medios de cumplimiento.
• Divulgación visible para deep fakes: Los implementadores de sistemas de IA generativa que generen o manipulen contenido de imagen, audio o video que constituya un deep fake deben divulgar que el contenido ha sido generado o manipulado artificialmente. Esta información debe proporcionarse a las personas de manera clara y distinguible en su interacción o exposición inicial. Esto se interpreta típicamente como una marca de agua o etiqueta visible directamente incrustada, y no necesariamente un mensaje de divulgación separado.

Si bien la Ley se dirige a los sistemas de IA (aplicaciones o herramientas web), no exige directamente medidas de transparencia para los modelos subyacentes. Sin embargo, el segundo borrador del código de práctica para los modelos GPAI sí exige que los modelos de riesgo sistémico utilicen marcas de agua para la identificación y el informe de incidentes.

Escenarios Prácticos e Implicaciones

Para comprender mejor cómo se desarrollan estas regulaciones en la práctica, considere estos escenarios comunes de implementación de IA generativa:

• Sistemas integrados de extremo a extremo: Organizaciones que desarrollan modelos de IA y los integran en sus aplicaciones. Estas entidades actúan tanto como proveedor como implementador, lo que permite un marcaje robusto con marcas de agua durante el desarrollo del modelo. Ejemplos son OpenAI y Adobe.
• Sistemas que utilizan acceso a modelos API: Sistemas que aprovechan las API de proveedores de modelos GPAI a gran escala. Estos proveedores deben confiar en las características API existentes o implementar sus propias medidas de post-procesamiento para el marcaje y la divulgación.
• Sistemas de código abierto implementados en Hugging Face: Sistemas construidos sobre modelos de código abierto, a menudo implementados a través de Hugging Face. Determinar la responsabilidad del cumplimiento de la Ley de IA en estos casos es complejo, lo que podría involucrar a Hugging Face en sí.
• Sistemas que utilizan otros modelos (de código abierto) bajo su propia marca registrada: Organizaciones que implementan modelos de IA bajo su propia marca, potencialmente sin revelar los modelos subyacentes. Estos proveedores están sujetos a los requisitos de transparencia completos.

Estos diversos escenarios destacan las complejidades en la asignación de responsabilidad y la garantía de una aplicación consistente de los requisitos de transparencia de la Ley de IA.

Retos de Implementación

Las distinciones establecidas por la Ley de IA de la UE entre proveedores, implementadores, modelos y sistemas crean áreas grises que necesitan aclaración.
La carga del cumplimiento con los requisitos de marcaje legible por máquina y divulgación de deep fakes puede afectar desproporcionadamente a los desarrolladores de aplicaciones y sitios web a pequeña escala, ya que las organizaciones más grandes y mejor financiadas son típicamente las organizaciones que desarrollan e implementan los modelos. La implementación de soluciones legibles por máquina se llevaría a cabo mejor en la etapa de desarrollo del modelo. La aplicación de las regulaciones a nivel de desarrollador de modelos sería más sencilla dado el número relativamente pequeño de actores que desarrollan modelos de imagen avanzados.

¿Cuáles son las implicaciones prácticas de la implementación de marcas de agua y los requisitos de divulgación visible para varios tipos de sistemas de IA generativa?

La Ley de IA de la UE exige dos medidas clave para los resultados de la IA generativa: marcas de agua legibles por máquina para la detección automatizada y la divulgación visible de «deep fakes» generados por IA. El incumplimiento podría resultar en fuertes multas. Sin embargo, existen ambigüedades en la aplicación práctica en torno a la asignación de responsabilidad y las definiciones de «deep fakes».

Implicaciones clave de la Ley de IA:

• Requisitos legales: Para el 1 de agosto de 2026, todos los resultados de la IA generativa deben tener marcas legibles por máquina, y los «deep fakes» deben divulgarse visiblemente como generados artificialmente.
• Riesgos de responsabilidad: Las empresas de redes sociales como Meta podrían enfrentar responsabilidad bajo la Ley de Servicios Digitales de la UE por distribuir contenido generado por IA que plantee riesgos sociales. Esto incentiva a los proveedores más grandes a marcar el contenido generado por IA.
• Riesgo financiero: El incumplimiento puede resultar en multas de hasta 15 millones de euros o el 3% de la facturación anual global.
• Colapso del modelo: La implementación de marcas de agua estrictas ayuda a mitigar el riesgo de colapso del modelo, ya que los modelos de IA podrían degradarse al entrenarse con contenido generado por IA.

La implementación de las reglas de transparencia de la Ley de IA difiere según los escenarios del sistema de IA generativa:

Escenarios de implementación e implicaciones:

Las responsabilidades por la marca de agua y la divulgación no siempre se ajustan a categorías ordenadas, pero aquí hay un desglose de los escenarios comunes:

Escenario 1: Sistemas integrados de extremo a extremo:

• Los proveedores que desarrollan Y despliegan sistemas de IA (como OpenAI o Adobe) pueden implementar marcas de agua robustas durante el desarrollo del modelo.
• Muchos también proporcionan acceso a la API sin necesariamente extender las funciones de marca de agua, lo que resulta en una aplicación inconsistente en toda la cadena de suministro.
• Los gigantes de las redes sociales en esta categoría también deben considerar las obligaciones bajo la Ley de Servicios Digitales de la UE y la posibilidad de que los modelos GPAI se clasifiquen como de alto riesgo.

Escenario 2: Sistemas que utilizan acceso al modelo API:

• Los proveedores aprovechan las API de los proveedores de modelos GPAI a gran escala y deben cumplir con la transparencia.
• Pueden confiar en las funciones integradas que ofrecen los proveedores de modelos o implementar sus medidas de post-procesamiento. Crear una solución de marcado visible podría ser difícil si desean destacar instrucciones de «deep fake».

Escenario 3: Sistemas (de código abierto) implementados en Hugging Face:

• Los modelos de código abierto implementados a través de la plataforma Hugging Face enfrentan desafíos de requisitos de cumplimiento.
• La plataforma ofrece una interfaz, pero no tiene control sobre el modelo. Esto dificulta determinar quién asume la responsabilidad del cumplimiento.

Escenario 4: Sistemas que utilizan otros modelos (de código abierto) bajo su propia marca registrada:

• Las organizaciones utilizan modelos de IA de otras organizaciones para crear sus propios productos bajo sus propias marcas registradas sin previo aviso. Debido a este sistema, es difícil rastrear de dónde vinieron los modelos de código abierto.
• Esto hace que su producto esté sujeto a las mismas obligaciones de transparencia, ya que ahora implementan su producto sin revelar su fuente.

Estos escenarios resaltan cómo las líneas borrosas entre desarrolladores, proveedores y implementadores complican la aplicación de la Ley de IA. Los métodos automatizados de inspección de cumplimiento son esenciales a medida que la Ley de IA entra en vigor.

¿Cuáles fueron los hallazgos del análisis empírico de las prácticas de marca de agua y divulgación?

Nuestro análisis de 50 sistemas de IA generativa ampliamente utilizados revela un panorama aún lejos de cumplir plenamente con las próximas regulaciones como la Ley de IA de la UE. Si bien la Ley exige marcas legibles por máquina y divulgaciones visibles para cierto contenido generado por IA, la adopción es desigual y la implementación varía ampliamente.

Hallazgos clave:

• Marca de agua legible por máquina limitada: Solo una minoría de proveedores (18 de 50) implementan actualmente el marcado legible por máquina, siendo la incrustación de metadatos la técnica más común pero fácilmente removible. La marca de agua oculta, un enfoque más robusto, es más rara.
• Los sistemas de extremo a extremo lideran en la marca de agua: Los sistemas integrados de extremo a extremo (Categoría 1), donde la misma organización desarrolla el modelo y la interfaz, son más propensos a implementar marcados legibles por máquina.
• Las divulgaciones visibles son raras: Se encontraron marcas de agua o divulgaciones visibles que indicaban contenido generado por IA en solo 8 de los 50 sistemas analizados. En particular, estos a menudo se aplicaban a todas las imágenes generadas, no solo a deep fakes.
• Desafíos con la detección de Deep Fake: Restringir las divulgaciones visibles a los deep fakes presenta un desafío importante, particularmente para las organizaciones más pequeñas que necesitan implementar una clasificación de indicaciones basada en PNL.
• Ecosistema dominado por unos pocos actores: Los proveedores de sistemas a menudo dependen de un puñado de modelos base de actores clave como Stability AI, Black Forest Labs y OpenAI. Las soluciones de marca de agua, incluso cuando son implementadas por estos proveedores centrales, no se extienden consistentemente a los sistemas basados en API.

Implicaciones:

Estos hallazgos subrayan la necesidad de una guía regulatoria más clara y soluciones de marca de agua más sólidas e interoperables para garantizar la aplicación efectiva de la Ley de IA de la UE y una legislación similar. La dependencia actual de metadatos fácilmente removibles y la aplicación inconsistente de la marca de agua a lo largo de la cadena de suministro de la IA generativa plantean serias preocupaciones sobre la capacidad de detectar y etiquetar el contenido generado por la IA de manera efectiva.

Preocupaciones regulatorias:

Las definiciones de «proveedor» e «implementador» de la Ley de IA en el contexto de la IA generativa siguen siendo ambiguas, lo que lleva a posibles lagunas y una distribución desigual de las cargas de cumplimiento. Los desarrolladores de aplicaciones y sitios web más pequeños pueden soportar una carga desproporcionada en comparación con los desarrolladores de modelos grandes y bien financiados responsables del núcleo de la tecnología.

Conclusiones prácticas:

• Priorizar la marca de agua robusta a nivel de modelo: Los desarrolladores de modelos deben implementar una marca de agua robusta directamente en la fase de generación para facilitar la implementación para los proveedores de sistemas descendentes y aumentar el costo para los actores maliciosos para eliminar estas marcas.
• Considerar la designación de GPAI para modelos avanzados: La UE y otros organismos reguladores deberían considerar la designación de los modelos de imagen más avanzados como modelos de IA de propósito general (GPAI) con riesgos sistémicos, lo que requeriría que los desarrolladores tomen medidas de mitigación proactivas como la marca de agua.
• Utilizar API y términos de licencia para la aplicación: Los desarrolladores de modelos pueden aprovechar las API y los términos de licencia para hacer cumplir el uso de la marca de agua por parte de los proveedores de sistemas descendentes.
• Desarrollar herramientas automatizadas de inspección de cumplimiento: A medida que crece el número de sistemas de IA generativa, los métodos automatizados para la inspección del cumplimiento serán cruciales para detectar la marca de agua y garantizar la aplicación efectiva de las regulaciones de la IA.