Como não implantar IA generativa: a história do Parlamento Europeu
O Parlamento Europeu decidiu adquirir Claude, um sistema que não consegue informar com precisão quem foi o primeiro presidente da Comissão Europeia.
Em 3 de abril de 2025, foi revelado que, em outubro de 2024, o Parlamento Europeu selecionou um modelo de IA para operar um novo arquivo histórico onde os cidadãos poderiam fazer perguntas e receber respostas. A empresa de IA Anthropic, fornecedora do serviço, se apresenta como uma alternativa mais confiável em relação a gigantes como Meta, Google e OpenAI. A decisão do Parlamento de utilizar o modelo de IA da Anthropic é, portanto, um testemunho útil, que a Anthropic celebrou.
Contudo, uma análise da Enforce revela que o Parlamento utiliza uma tecnologia de IA não confiável, que produz resultados falsos e que não está sob seu controle.
Fé cega na Constituição da IA da Anthropic
O modelo de IA da Anthropic, Claude, baseia-se na IA Constitucional, que é um conjunto de princípios escolhidos pela Anthropic. Esses princípios utilizam “ajudar, ser honesto e não causar danos” como critérios, pois são simples e memoráveis, e parecem capturar a maioria do que se espera de uma IA alinhada. No entanto, nenhuma avaliação independente estabeleceu até agora que esses critérios “simples e memoráveis” são significativos ou que o produto da Anthropic corresponde a sua alegação. A Unidade de Arquivo do Parlamento, no entanto, trata a afirmação da IA Constitucional da Anthropic como uma verdade absoluta.
Os membros do Parlamento Europeu estavam na vanguarda ao propor regras na Lei de IA para abordar os danos causados por sistemas de IA generativa, como Claude. Em vez de seguir as regras da Lei de IA, a Unidade de Arquivo do Parlamento arrisca ao confiar nas alegações da Anthropic, como mostram os documentos:
“O Modelo de Linguagem Grande (LLM) implementado é baseado em uma abordagem Constitucional da IA. Isso garante que as respostas fornecidas respeitem os valores estabelecidos pela Declaração dos Direitos Humanos das Nações Unidas.”
Além disso, o conjunto de dados de treinamento foi avaliado de acordo com sua conformidade com a abordagem Constitucional da IA para mitigar esse risco. O LLM é treinado para respeitar a privacidade.
É incerto por que o Parlamento avalia a “conformidade com a abordagem Constitucional da IA” e não com o GDPR e a Lei de IA. A Anthropic, por sua própria admissão, usa dados extraídos da web para treinamento de IA, o que pode ser ilegal, pois pode incluir categorias especiais de dados pessoais.
Geradores de informações enganosas para acesso a arquivos
O processamento ilegal de dados pessoais não é o único problema com LLMs. Eles memorizam seus dados de treinamento e regurgitam informações. Eles são sistemas probabilísticos que geram “besteiras”. LLMs não devem ser usados quando a precisão da informação é necessária.
Entretanto, o Parlamento não avaliou alternativas não-LLM. Ele apenas “testou” dois modelos de LLM: Claude da Anthropic e Titan da Amazon. O Parlamento está preso ao ecossistema da Amazon e depende da Amazon Bedrock—o mercado da Amazon para modelos de IA.
A Anthropic afirma que o projeto alcança “alta precisão”, no entanto, os documentos do Parlamento revelam o contrário. O Parlamento usou uma lista de trinta “perguntas de teste” em francês. Na avaliação do Parlamento, Claude erra ao identificar o primeiro presidente da Comissão Europeia, afirmando que “Robert Schuman 7” é o primeiro presidente do Parlamento Europeu. “Robert Schuman 7” é provavelmente o endereço de um café em Bruxelas, que Claude pode ter memorizado. Apesar dos problemas com LLMs, o Parlamento escolheu Claude.
A (falta de) avaliação do Parlamento
O Parlamento deveria ter realizado uma série de avaliações antes de implantar “Pergunte aos Arquivos do EP”, que está hospedado na Amazon AWS e está disponível ao público através do site do Parlamento. Surpreendentemente, o Parlamento não avaliou a ferramenta para uso pelo público em geral.
“Este sistema é projetado para um contexto de negócios para negócios mais do que para negócios para consumidores. Os usuários esperados são jovens pesquisadores, pesquisadores, arquivistas ou historiadores.”
Por que um “sistema projetado para um contexto de negócios para negócios” foi disponibilizado ao público sem uma avaliação mais aprofundada? O público em geral provavelmente tomará as informações no site do Parlamento como autoritativas. Claude falha em perguntas simples.
Além disso, o Parlamento não realizou avaliação de riscos, avaliação de impacto sobre proteção de dados, ou uma avaliação ambiental adequada. Quanto à segurança cibernética, o Parlamento depende da segurança por meio de redação.
Quem está no controle?
Enquanto o Parlamento falhou em avaliar a ferramenta antes da implementação, a Anthropic lista o Parlamento entre seus clientes. No entanto, não houve licitações ou contratos. A Enforce foi informada que “o uso dos serviços do Parlamento para os Arquivos Históricos é feito através da Comissão Europeia agindo como intermediária para serviços de mediação em nuvem… Nesse sentido, não há contrato direto para o uso do Parlamento do Amazon Bedrock e Claude fornecido pela Anthropic.”
A Comissão Europeia possui um contrato com a Amazon AWS. O Parlamento depende do contrato da Comissão. Mas nem a Comissão nem o Parlamento têm um contrato com a Anthropic para IA generativa.
A chefe da Unidade de Arquivo do Parlamento afirmou em um vídeo promocional da Anthropic: “Se usarmos IA generativa, precisamos estar permanentemente sob controle da solução que construímos.” O Parlamento utiliza a infraestrutura da Amazon, o mercado da Amazon e os modelos de IA financiados pela Amazon da Anthropic.
O Parlamento não está no controle. A Amazon está.
FIM
Documentos recebidos do Parlamento Europeu por meio de solicitação de acesso a documentos:
- Lista de Avaliação de IA Confiável – Archibot 3.0
- Avaliações do Parlamento sobre LLMs:
- Claude da Anthropic
- Comparação entre Sonnet 3.0 e 3.5
- Titan da Amazon
Notas:
- 1: A Anthropic se refere à sua abordagem constitucional.
- 2: O EDPB afirma que “o mero fato de que dados pessoais estão acessíveis publicamente e disponíveis para scraping da web não implica que ‘o sujeito dos dados tenha manifestamente tornado esses dados públicos’.”
- 3: O Parlamento também afirmou ter utilizado “ChaGPT 3.5”, mas não forneceu documentos quando solicitamos perguntas e respostas de teste.
- 4: As respostas do Titan também não foram melhores. Veja a comparação entre Sonnet 3.0 e 3.5 testadas pelo Parlamento.
- 5: A avaliação ambiental é limitada à crença do Parlamento na Amazon AWS usando 90% de energia renovável.
