Grok, Deepfakes e o Colapso da Distinção entre Conteúdo e Capacidade
As recentes respostas regulatórias ao modelo de linguagem de grande escala (LLM) Grok, no que diz respeito ao seu uso na geração de deepfakes, revelam algo mais interessante do que simplesmente “muitas empresas de tecnologia se comportam mal”. Elas expõem uma incompatibilidade entre como as estruturas de regulação de plataformas foram projetadas e como a IA generativa funciona quando integrada às plataformas pelos próprios provedores: remoções de conteúdo ex-post e sanções aos usuários não são mais suficientes.
Procuradores franceses recentemente abriram uma investigação após a circulação de conteúdo gerado por IA, enquanto a Ofcom do Reino Unido tratou Grok como um sistema sujeito a deveres de design ex-ante sob a Lei de Segurança Online. Reguladores na Austrália, Brasil, Canadá, Japão, Índia e em outros lugares também pressionaram plataformas ao invocar regras setoriais existentes. Essas respostas sugerem que muita da regulação efetiva da IA, atualmente, virá não de estruturas abrangentes específicas para IA, mas da aplicação de regras setoriais existentes a novas capacidades.
O Problema da Arquitetura que a Política de Conteúdo Não Pode Resolver
A governança tradicional de plataformas funciona com base em uma separação: a plataforma fornece capacidades (hospedagem, busca, curadoria, recomendações) e os usuários geram conteúdo. A regulação de capacidades impõe restrições, como exclusões de dados de treinamento e recursos de segurança, sobre o que esse sistema pode fazer. A regulação de conteúdo consiste em regras sobre saídas, como remoção de postagens, rotulagem e rebaixamento. Este modelo de governança assume que a plataforma é um intermediário de conteúdo, independentemente de agir de forma neutra em relação ao conteúdo ou não. Os sistemas e as regras aplicadas a eles foram em grande parte criados antes que a IA generativa se tornasse uma característica das plataformas sendo governadas.
Quando integrada, Grok colapsou essa distinção. Vários meios de comunicação relataram que Grok estava gerando deepfakes sexualizados não consensuais de pessoas reais, incluindo menores. O modelo, e por extensão a plataforma, não apenas hospeda ou transmite conteúdo prejudicial criado independentemente pelos usuários; sua capacidade de gerar esse conteúdo é a causa imediata de sua existência. Portanto, quando Grok gera imagens falsas realistas e não consensuais de mulheres reais, o padrão de moderação de conteúdo — detectar, remover, sancionar o usuário — perde o foco. A capacidade de produzir outputs ilegais com solicitações triviais é uma violação de direito relevante ao conteúdo, não apenas a má conduta de usuários individuais. Tanto o conteúdo quanto a capacidade em si requerem atenção.
Inadequação do Geoblocking para Problemas de Capacidade
A resposta da plataforma aos outputs de Grok — geoblocking de certos prompts em algumas jurisdições — é interessante porque é obviamente inadequada. Onde os danos são impulsionados pela capacidade, a mitigação adequada requer controles no nível da geração e não filtros territoriais aplicados após o fato. O geoblocking assume erroneamente que o problema é onde a geração acontece. Mas, pelo menos para conteúdo sintético, essa suposição falha. O dano ocorre quando a imagem é criada e potencialmente distribuída, independentemente de onde o usuário que acionou sua criação esteja fisicamente localizado.
Implicações e Futuros Regulatórios
A mobilização rápida dos reguladores para abordar a capacidade de Grok revela o que acontece quando danos estabelecidos, como imagens íntimas não consensuais, encontram novos mecanismos de produção, como modelos de IA generativa, sem guardrails e com distribuição de baixa fricção. A velocidade é diferente da regulação tradicional de IA e aplicação da lei porque o dano não é novo — apenas o método de produção é. Os reguladores podem estender proibições existentes à geração sintética sem redefinir categorias.
O caso de Grok sugere que muita da regulação efetiva da IA pode vir não de estruturas abrangentes específicas para IA, mas da aplicação de leis existentes baseadas em danos a novas capacidades. O foco deve ser em governar capacidades no nível do modelo, não outputs no nível do conteúdo, para ser eficaz.
