Quais são os riscos e desafios associados ao conteúdo gerado por IA e como as jurisdições respondem?
O aumento da IA generativa tem obscurecido as linhas entre conteúdo autêntico e sintético, criando riscos sociais, especialmente com deepfakes realistas. Essa erosão da confiança está levando jurisdições, como a UE, a introduzir regulamentos de transparência da IA.
A marca d’água, as marcações legíveis por máquina e as divulgações visíveis estão surgindo como mecanismos-chave para combater esses riscos. No entanto, existem incentivos conflitantes, pois os provedores podem querer oferecer aos usuários a capacidade de criar conteúdo sem sinais de artificialidade. O colapso do modelo, onde o treinamento em dados sintéticos degrada a qualidade da IA, adiciona outra camada de complexidade. As plataformas de mídia social também enfrentam responsabilidade pela distribuição de conteúdo prejudicial gerado por IA.
A Lei de IA da UE exige duas salvaguardas principais:
- Marcas d’água legíveis por máquina que facilitam a detecção de conteúdo gerado ou manipulado.
- Divulgações visíveis de deepfakes para revelar explicitamente sua origem artificial.
O não cumprimento acarreta multas substanciais, que chegam a € 15 milhões ou 3% do faturamento global. As regras serão aplicadas a partir de 1º de agosto de 2026. Apesar das boas intenções, as ambiguidades persistem em torno da alocação de responsabilidade dentro da cadeia de suprimentos de IA, e as definições (como ‘deepfake’) precisam de esclarecimentos.
Principais Desafios e Riscos:
- Erosão da Confiança: A facilidade de criar conteúdo sintético convincente mina a confiança na mídia e nas fontes de informação.
- Incentivos Conflitantes: Os provedores de IA equilibram a satisfação dos desejos dos clientes por criatividade irrestrita com as necessidades sociais de transparência.
- Colapso do Modelo: O treinamento de IA em conteúdo gerado por IA que degrada a qualidade do modelo é uma séria preocupação para os desenvolvedores de IA.
- Responsabilidade: As plataformas de mídia social enfrentam pressão crescente para gerenciar e sinalizar deep fakes, levando a preocupações com a responsabilidade.
- Ambiguidade nos Regulamentos: A Lei de IA precisa de orientações mais claras sobre a aplicação de requisitos de marca d’água e divulgação, especialmente em cadeias de suprimentos de IA complexas.
Quais são as ideias centrais da cadeia de suprimentos de IA generativa?
O cenário da IA generativa, particularmente em sistemas de texto para imagem, envolve uma cadeia de suprimentos complexa com etapas interconectadas e diversos participantes. Uma visão simplificada identifica quatro atores principais:
- Desenvolvedores de Modelos Base: Criam os modelos de IA fundamentais, exigindo vastas quantidades de dados e recursos computacionais. Exemplos incluem OpenAI (DALL-E 3) e Stability AI (Stable Diffusion).
- Desenvolvedores Downstream: Ajustam os modelos base para aplicações específicas (por exemplo, estilos artísticos). Eles podem distribuir esses modelos por uma taxa ou por meio de plataformas de código aberto (por exemplo, Juggernaut XL).
- Provedores de Sistemas: Transformam modelos em sistemas funcionais com interfaces de usuário (web, mobile, desktop). Eles frequentemente oferecem acesso aos usuários finais (implementadores), mas podem implementar diferentes graus de compartilhamento e integração.
- Implementadores de Sistemas: Implementam sistemas de IA para usuários finais. Em muitos casos, o provedor de sistema também atua como implementador.
Preocupações Regulatórias e a Lei de IA da UE
A Lei de IA da UE introduz requisitos de transparência para IA generativa, particularmente em relação à marca d’água e à divulgação de conteúdo gerado por IA (especificamente deep fakes). O artigo 50 determina:
- Marcações legíveis por máquina em outputs gerados por IA para detecção automatizada de conteúdo sintético. Essas marcações devem ser eficazes, interoperáveis, robustas e confiáveis. Isso pode ser alcançado por meio de marcas d’água, IDs de metadados, métodos criptográficos, registro ou técnicas de impressão digital.
- Divulgação visível de que o conteúdo foi artificialmente gerado ou manipulado, especialmente quando se trata de um “deep fake”, que a Lei de IA define como conteúdo gerado por IA que se assemelha a pessoas, objetos, lugares, entidades ou eventos existentes e que pareceria falsamente para uma pessoa ser autêntico ou verdadeiro. Esta informação deve ser apresentada de forma clara no ponto da primeira interação.
Os regulamentos se aplicam a sistemas de IA (aplicativos, ferramentas da web), não apenas aos modelos subjacentes. O não cumprimento pode levar a penalidades de até € 15 milhões ou 3% do faturamento anual global. Estas regras entram em vigor em 1 de agosto de 2026.
Implicações Práticas e Desafios de Implementação
A Lei de IA introduz complexidades na atribuição de responsabilidade ao longo da cadeia de suprimentos. Nem sempre é claro se o ônus da conformidade é distribuído adequadamente, como para modelos de IA que são habilitados para API.
Os cenários de implantação podem variar, resultando em diferentes abordagens para a marca d’água. O documento identifica 4 desses cenários:
- Sistemas Integrados de Ponta a Ponta
- Sistemas que usam acesso ao modelo de API
- Sistemas de Código Aberto Implantados no Hugging Face
- Sistemas que usam outros modelos (de código aberto) sob sua própria marca registrada
A marcação visível de *apenas* deep fakes é outro obstáculo prático sob a Lei de IA. Para direcionar com precisão os deep fakes, os provedores precisam de soluções separadas baseadas em PNL para classificação de prompts. Isso levanta preocupações, especialmente para organizações menores.
A implementação de mecanismos de conformidade eficazes envolve desafios na verificação da “não-verdade” (detecção de conteúdo gerado por IA) e na garantia de soluções robustas e interoperáveis. Dado o crescente número de ferramentas de geração de imagens de IA, métodos automatizados de inspeção de conformidade e soluções de terceiros serão essenciais para uma aplicação eficaz.
Como a Lei de IA da UE aborda a marca d’água e a divulgação para conteúdo gerado por IA?
A Lei de IA da UE, com previsão para entrar em vigor a partir de 1º de agosto de 2026, introduz obrigações de transparência essenciais para sistemas de IA generativos, particularmente em relação à marca d’água e à divulgação.
Requisitos Legais
- Marca d’Água Legível por Máquina: O Artigo 50(2) exige que os fornecedores de sistemas de IA generativos garantam que suas saídas sejam marcadas em um formato legível por máquina, detectável como gerado ou manipulado artificialmente. A Lei enfatiza que as soluções técnicas devem ser eficazes, interoperáveis, robustas e confiáveis.
- Divulgação Visível para Deep Fakes: O Artigo 50(4) exige que os utilizadores de sistemas de IA generativos divulguem quando geram ou manipulam conteúdo de imagem, áudio ou vídeo constituindo um “deep fake”. Esta divulgação deve ser clara e distinguível no momento da primeira interação ou exposição.
Os regulamentos não especificam os métodos exatos para implementar as divulgações visíveis, mas enfatizam a necessidade de um rótulo claro dentro da própria saída gerada por IA, em vez de uma mensagem separada. As penalidades por não conformidade podem chegar a € 15 milhões ou 3% do volume de negócios anual global.
Ambigüidades e Desafios de Implementação
A redação da Lei de IA deixa espaço para interpretação, particularmente no que diz respeito à atribuição de responsabilidade ao longo da complexa cadeia de fornecimento de IA generativa. Definir “deep fake” também apresenta desafios.
Escopo Limitado para Desenvolvedores de Modelos
Os requisitos de transparência aplicam-se especificamente a sistemas de IA (por exemplo, aplicativos ou ferramentas da web), e não aos modelos de base que os sustentam.
Embora a segunda versão do código de conduta para modelos GPAI inclua um compromisso dos fornecedores de modelos GPAI com riscos sistêmicos de usar métodos como marcas d’água para identificar e relatar incidentes relacionados ao uso de seu modelo.
Isenções
Notavelmente, os fornecedores de sistemas de IA lançados sob licenças livres e de código aberto não estão isentos desses requisitos de transparência sob o artigo 50 da lei de IA, ao contrário de algumas outras seções. Isso é fundamental para a implementação da Lei em todo o ecossistema.
Que metodologia foi utilizada para analisar a implementação prática de marcas d’água?
Para avaliar a adoção no mundo real de marcas d’água e práticas de divulgação, uma abordagem multifacetada foi empregada, analisando 50 sistemas de IA generativa amplamente utilizados.
Seleção de Sistemas de IA
Uma seleção diversificada de 50 sistemas de IA generativa foi criada com base em diferentes modelos de negócios e canais de distribuição, refletindo as quatro categorias de implantação: sistemas integrados de ponta a ponta, sistemas que usam acesso ao modelo de API, sistemas de código aberto implantados no Hugging Face e sistemas que usam outros modelos (de código aberto) sob sua própria marca registrada. Os sistemas na categoria 1 foram selecionados filtrando a tabela do ecossistema Stanford Foundation Models [26] e selecionando organizações que oferecem ferramentas gratuitas de geração de imagens usando seus próprios modelos básicos. Os sistemas na categoria 3 foram selecionados filtrando a seção ‘modelo’ do Hugging Face nos cinco modelos de geração de texto para imagem de código aberto mais baixados que ofereciam a ferramenta de widget de API do Hugging Face [21]. Os sistemas baseados em aplicativos da web e móveis das categorias 2 e 4 foram selecionados usando a consulta de pesquisa “geração de imagem de IA” na Apple App Store e na Pesquisa do Google. Os 14 principais sistemas de cada modalidade (28 no total) que ofereciam geração gratuita de texto para imagem (se necessário: usando uma conta ou iniciando um teste gratuito) foram incluídos.
Geração de Imagens
Para cada sistema selecionado, pelo menos duas imagens foram geradas. As configurações padrão foram usadas com um prompt neutro (“Um estudante de doutorado”) e um prompt potencialmente arriscado de “deep fake” (“Uma bela fotografia deep fake de Donald Trump no McDonald’s”). O objetivo era avaliar se as marcas d’água eram aplicadas especificamente ao conteúdo sinalizado como um potencial deepfake. As imagens geradas foram armazenadas a partir da opção “salvar” ou “baixar” na interface do sistema.
Detecção de Marca D’água e Divulgação
As métricas de avaliação se concentraram em marcações legíveis por máquina e divulgações visíveis. Uma combinação de técnicas, conforme descrito abaixo, foi utilizada para identificar sua adoção:
- Análise de Documentação: A documentação do sistema (descrições de aplicativos, FAQs, termos de uso, políticas de privacidade e arquivos ReadMe) foi revisada para identificar quaisquer divulgações relacionadas a marcas d’água, uso de metadados ou práticas de impressão digital digital.
- Análise de Código: Para sistemas de código aberto (principalmente categorias 2 e 3), as páginas de informações do modelo e o código-fonte no Hugging Face e no GitHub foram inspecionados para menções de bibliotecas de marca d’água, ferramentas de detecção ou ajustes de metadados.
- Inspeção de Imagem:
Ferramentas foram aproveitadas para examinar as imagens geradas:
- Metadados: Uma ferramenta online de inspeção de metadados foi usada para extrair e analisar metadados dos padrões EXIF, IPTC e XMP, pesquisando por menções de geração de IA.
- Marca D’água: Se soluções de marca d’água e ferramentas de detecção fossem encontradas na documentação ou na análise de código, a ferramenta de detecção correspondente seria aplicada às imagens. Ferramentas de detecção públicas foram usadas para a marca d’água do Google [28] e a biblioteca de marca d’água de código aberto usada pela Stability AI e Black Forest Labs [10, 48, 51]. Um algoritmo foi criado para executar as referidas ferramentas de detecção pública em todas as imagens geradas.
- Impressão Digital Digital: A especificação técnica C2PA, um padrão da indústria para proveniência, foi analisada [25, 43]. A ferramenta de detecção C2PA foi usada para verificar a presença de uma impressão digital digital, incorporação de metadados ou marca d’água.
- Inspeções Manuais: Verificações manuais verificaram marcas d’água visíveis e divulgações indicando conteúdo gerado por IA em prompts neutros e deep fake. O foco estava em saber se as marcações visíveis eram restritas a deep fakes, não em julgar se as imagens se qualificavam como um “deep fake”.
Quais são as principais conclusões da análise empírica sobre as práticas de marca d’água?
Nossa investigação em 50 sistemas de IA generativa de imagem amplamente utilizados revela um cenário ainda em seus estágios iniciais em relação à adoção de marca d’água, especialmente à medida que nos aproximamos da data de aplicação da Lei de IA da UE em agosto de 2026. O estudo visou principalmente não avaliar a conformidade atual, mas delinear o estado das soluções de marca d’água legíveis por máquina e de divulgação visível, e os obstáculos na implementação e aplicação de regulamentos relacionados a elas.
Aqui estão as principais conclusões:
- Implementação Limitada de Marcas D’água Legíveis por Máquina: Apenas uma minoria dos sistemas (18 de 50) inclui alguma forma de marca d’água legível por máquina.
- Incorporações de Metadados são Comuns, Mas Não Robustas: Embora o metadado seja o método mais frequentemente usado, ele é facilmente removido, tornando-o uma solução menos robusta. Dez sistemas usaram essa abordagem.
- Marcas D’água Ocultas são Raras: Técnicas sofisticadas de marca d’água oculta são encontradas em apenas um pequeno subconjunto de sistemas (6).
- Divulgações Visíveis Também são Raras: Apenas 8 de 50 sistemas usaram marcas d’água visíveis ou outras soluções de divulgação incorporadas na imagem para indicar sua natureza gerada por IA.
- Sistemas de Ponta a Ponta Lideram na Implementação: As soluções de marcação legíveis por máquina são mais prevalentes entre provedores de ponta a ponta (categoria 1) e provedores de grande escala (categoria 2). Muitos deles também são operadores de plataformas de mídia social/digital ou mecanismos de busca (Meta, Google, Adobe, Canva, Microsoft).
Essas descobertas apontam para um cenário de “faroeste” onde proteções robustas não são aplicadas uniformemente.
O Ecossistema é Concentrado
Existe uma concentração notável no ecossistema de IA. Um pequeno número de provedores de modelos avançados (de código aberto) influencia significativamente o campo. Muitos provedores de sistema contam com modelos base ou versões ajustadas de apenas algumas fontes (por exemplo, Stability AI, Black Forest Labs e OpenAI). Embora possam incorporar soluções, elas podem ser facilmente desativadas ou aplicadas de forma inconsistente.
Desafios na Restrição a Deep Fakes
Aplicar divulgações visíveis especificamente a imagens de deep fake apresenta desafios. Os provedores precisariam de um sistema sofisticado para classificar os prompts como deep fakes, o que pode ser difícil para organizações menores. As divulgações visíveis ainda não são muito usadas.
Preocupações Sobre a Conformidade a Longo Prazo
A variedade de técnicas de marcação e o surgimento de sistemas que usam modelos de terceiros (categorias 2, 3 e 4) exigem métodos automatizados de inspeção de conformidade. Estes devem integrar vários mecanismos de detecção para garantir a aplicação eficaz quando a Lei de IA entrar em vigor.
Que limitações estão associadas à investigação?
É essencial reconhecer várias limitações e restrições em nossa análise.
Primeiro, existe a possibilidade de não termos identificado certas técnicas de marca d’água e impressão digital digital que são usadas na prática. Fizemos o possível para encontrar quaisquer divulgações de marca d’água na documentação dos fornecedores dos sistemas, mas existe a chance de que eles não as tenham divulgado e usado técnicas não padronizadas que não verificamos.
Segundo, embora tenhamos usado prompts que claramente vemos como deep fakes, admitimos que a definição de um deep fake pode estar sujeita a debate.
Finalmente, alguns sistemas de IA que analisamos não ofereciam um botão de salvar para as imagens dentro do ambiente de interface dos sistemas, o que nos obrigou a usar outros métodos de download. Isso pode ter causado a perda de certos metadados, afetando potencialmente nossas descobertas sobre a incorporação de marcas d’água legíveis por máquina.
Quais são as implicações e os desafios da marca d’água no contexto dos sistemas de geração de IA?
A ascensão da IA generativa criou uma necessidade premente de marca d’água e rotulagem de conteúdo gerado por IA, especialmente com regulamentações como a Lei de IA da UE, que exige essas práticas. No entanto, a implementação apresenta uma teia complexa de desafios e implicações.
Incentivos Conflitantes e Mandatos Regulatórios
Embora a sociedade se beneficie da identificação de conteúdo gerado por IA, os provedores geralmente enfrentam incentivos conflitantes. Eles querem oferecer aos usuários a capacidade de criar conteúdo sem sinais visíveis de geração artificial. Grandes empresas enfrentam o risco de “colapso do modelo”, onde os modelos de IA se degradam quando treinados em conteúdo gerado por IA. Além disso, empresas de mídia social como a Meta enfrentam responsabilidade sob a Lei de Serviços Digitais da UE pela distribuição de conteúdo prejudicial, incentivando ainda mais a marca d’água.
A Lei de IA da UE, com previsão de aplicação a partir de 1º de agosto de 2026, exige duas medidas principais:
- Incorporar marcações legíveis por máquina em saídas geradas por IA para detecção automatizada.
- Divulgar visivelmente a origem artificial de “deep fakes” gerados por IA.
O não cumprimento pode resultar em multas de até €15 milhões ou 3% do faturamento anual global de uma empresa. No entanto, persistem ambiguidades em relação à aplicação prática desses requisitos, incluindo a alocação de responsabilidade e a definição de “deep fake”.
Desafios de Transparência em Toda a Cadeia de Fornecimento de IA
A cadeia de fornecimento de IA generativa envolve desenvolvedores de modelos de base, desenvolvedores downstream, provedores de sistema e implementadores de sistema. As regras de transparência da Lei de IA se aplicam especificamente a sistemas de IA (aplicativos ou ferramentas da web), não necessariamente aos desenvolvedores de modelos subjacentes.
Diferentes cenários de implantação criam implicações variadas para a conformidade:
- Sistemas Integrados de Ponta a Ponta: Organizações que desenvolvem e implementam modelos de IA são responsáveis por implementar marcas d’água robustas.
- Sistemas que Usam Acesso ao Modelo de API: Esses sistemas aproveitam as APIs de provedores de modelos em larga escala. A conformidade depende da utilização de recursos de marca d’água integrados ou da implementação de medidas de pós-processamento.
- Sistemas (de Código Aberto) Implementados no Hugging Face: Determinar a responsabilidade pela conformidade com a Lei de IA não é claro nesses casos, especialmente porque o Hugging Face fornece a interface do usuário.
- Sistemas que Usam Outros Modelos (de Código Aberto) Sob Sua Própria Marca: Essas organizações implementam modelos de IA sob sua própria marca sem divulgar a fonte, exigindo total conformidade com as obrigações de transparência.
Considerações Práticas e Lacunas de Implementação
Atualmente, apenas uma minoria de provedores implementa práticas de marcação legíveis por máquina, amplamente impulsionadas por grandes organizações que desejam evitar a degradação de seus conjuntos de treinamento de IA e proteger conteúdo protegido por direitos autorais.
- Marca d’Água Limitada: Métodos robustos de marca d’água com foco na detecção de imagens geradas por IA permanecem raros, especialmente aqueles que não podem ser facilmente removidos. Muitas soluções dependem de técnicas de pós-geração, como incorporação de metadados, que são facilmente removidos.
- Divulgações Visíveis: Marcas d’água visíveis para deep fakes raramente são usadas, muitas vezes devido ao seu impacto na experiência do usuário.
- Detecção de Deep Fake: Restringir a rotulagem a deep fakes requer métodos complexos, potencialmente desafiadores para organizações menores.
- Concentração do Ecossistema: Um punhado de provedores de modelos influencia fortemente o ecossistema, tornando suas ações críticas para uma adoção mais ampla das práticas de marca d’água.
Existem desafios na distribuição justa dos encargos de conformidade ao longo da cadeia de fornecimento de IA, e a UE está considerando classificar modelos em larga escala como modelos GPAI com risco sistêmico, exigindo, portanto, que os desenvolvedores tenham uma implementação estrita de marca d’água por meio de API.
Implicações Práticas Sob a Nova Lei de IA da UE
A Lei de IA da UE exige medidas específicas para abordar os riscos de conteúdo gerado por IA. Aqui está um resumo para oficiais de conformidade e profissionais de tecnologia jurídica:
Requisitos Principais:
- Marcações Legíveis por Máquina (Artigo 50(2)): Todas as saídas geradas por IA devem ter marcações legíveis por máquina incorporadas e detectáveis. Isso visa facilitar a detecção automatizada de conteúdo sintético.
- Divulgações Visíveis (Artigo 50(4)): Os utilizadores de sistemas de IA generativa que criam ou manipulam “deep fakes” (semelhantes a pessoas, objetos, etc. reais) devem divulgar que o conteúdo é artificial. Esta divulgação precisa ser clara e distinguível no momento da primeira “interação ou exposição”.
Execução e Penalidades:
- Estas regras entram em vigor a partir de 1 de agosto de 2026.
- O não cumprimento pode resultar em multas de até 15 milhões de euros ou 3% do volume de negócios anual global.
Ambigüidades e Desafios
A Lei de IA enfrenta problemas de aplicação prática, como a alocação de responsabilidade ao longo da complexa cadeia de abastecimento de IA generativa, e a definição de um “deep fake”. Esta seção examina esses cenários práticos de implantação de sistemas de IA generativa para esclarecer a aplicação e eles serviriam para projetar medições de IA para esclarecer a tradução do legal em artefatos técnicos.
Cenários de Implantação e Responsabilidades
Para esclarecer a aplicação das regras de transparência da Lei de IA, o artigo identifica quatro cenários de implantação, analisando como as regras se aplicam em cada um:
- Sistemas Integrados de Ponta a Ponta: Organizações que desenvolvem e implementam modelos de IA internamente precisam de conformidade com marcações legíveis por máquina e divulgações visíveis de deep fakes.
- Sistemas que Usam Acesso ao Modelo de API: Sistemas que integram APIs de grandes provedores de modelos (como OpenAI) exigem conformidade. Eles podem confiar em recursos integrados de provedores de modelos ou implementar suas próprias medidas (marcas d’água de pós-processamento, metadados). A detecção de prompts de deep fake apresenta um desafio significativo, especialmente para empresas menores. Uma abordagem mais simples pode envolver divulgações visíveis para todas as imagens geradas, embora isso possa impactar negativamente a experiência do usuário.
- Sistemas (de Código Aberto) Implementados no Hugging Face: Não está claro quem assume a responsabilidade pela conformidade quando os modelos de IA são hospedados no Hugging Face. O Hugging Face oferece a interface do usuário, mas não tem controle sobre o modelo, podendo ser o fornecedor e o implementador.
- Sistemas que Usam Outros Modelos (de Código Aberto) Sob Sua Própria Marca Registrada: Esta categoria inclui organizações que precisam cumprir ambas as obrigações de transparência.
Conclusões Práticas
- Esclarecer Funções: As empresas devem definir claramente seu papel na cadeia de abastecimento de IA (desenvolvedor de modelo, provedor de sistema, implementador) para entender suas obrigações específicas.
- Tradução de Artefatos Técnicos: As empresas devem traduzir os requisitos estatutários em artefatos técnicos até a decisão final e/ou implementação da Lei de IA.
- Avaliar Soluções Existentes: Avalie os recursos de marca d’água existentes em modelos de IA ou APIs utilizados. Se ausente, implemente técnicas de pós-processamento.
- Detecção de Deep Fake: Desenvolva ou adquira capacidades para detectar prompts de deep fake ou considere aplicar divulgações visíveis de forma ampla.
