Cómo no desplegar IA generativa: La historia del Parlamento Europeo
El Parlamento Europeo adquirió a Claude, un sistema que no puede informar con precisión a los usuarios quién fue el primer presidente de la Comisión Europea.
3 de abril de 2025 — En octubre de 2024, el Parlamento Europeo seleccionó un modelo de IA para operar un nuevo archivo histórico donde los ciudadanos pueden hacer preguntas y recibir respuestas. Anthropic, la empresa de IA que proporciona el servicio al Parlamento Europeo, se presenta como una alternativa más confiable frente a Meta, Google y Open AI. La decisión del Parlamento Europeo de utilizar el modelo de IA de Anthropic es, por tanto, un testimonio útil, que Anthropic celebró.
Sin embargo, un examen de Enforce revela que el Parlamento utiliza tecnología de IA poco confiable que produce resultados falsos que el Parlamento no controla.
Fe ciega en la Constitución de IA de Anthropic
El modelo de IA de Anthropic, Claude, se basa en la IA Constitucional, un conjunto de principios elegidos por Anthropic. Estos principios utilizan “[‘útil, honesto y inofensivo’ como criterios porque son sencillos y memorables, y parecen capturar la mayoría de lo que queremos de una IA alineada].” Hasta ahora, ninguna evaluación independiente ha establecido que estos criterios “sencillos y memorables” sean significativos o que el producto de Anthropic cumpla con su reivindicación. No obstante, la Unidad de Archivo del Parlamento trata la afirmación de la IA Constitucional de Anthropic como una verdad absoluta.
Los miembros del Parlamento Europeo estaban a la vanguardia proponiendo reglas en la Ley de IA para abordar los daños de los sistemas de IA generativa, como Claude. En lugar de seguir las reglas de la Ley de IA, la Unidad de Archivo del Parlamento se arriesga al confiar en las afirmaciones de Anthropic, como muestran los documentos:
“El Modelo de Lenguaje Grande (LLM) implementado se basa en un enfoque Constitucional de IA. Esto asegura que las respuestas proporcionadas respeten los valores de la Declaración de Derechos Humanos de las Naciones Unidas.”
“El conjunto de entrenamiento [h]a sido evaluado de acuerdo a su cumplimiento con el enfoque Constitucional de IA para mitigar este riesgo…. [E]l LLM está entrenado según un enfoque Constitucional de IA para prevenir este tipo de procesamiento [de datos personales]. Los modelos Claude están específicamente entrenados para respetar la privacidad.”
No está claro por qué el Parlamento evalúa el “cumplimiento con el enfoque Constitucional de IA” y no con el GDPR y la Ley de IA. Anthropic, por su propia admisión, usa datos obtenidos de la web para el entrenamiento de la IA. Esto puede ser ilegal, ya que podría incluir categorías especiales de datos personales.
Generadores de tonterías para acceso a archivos
El procesamiento ilegal de datos personales no es el único problema con los LLMs. Estos memorizar datos de entrenamiento y regurgitan información. Son sistemas probabilísticos que generan “[tonterías].” Los LLMs no deben ser utilizados cuando se requiere precisión en la información.
Sin embargo, el Parlamento no evaluó alternativas que no fueran LLM. Solo “probó” dos modelos LLM: Claude de Anthropic y Titan de Amazon. El Parlamento está atrapado en el ecosistema de Cloud de Amazon y depende de Amazon Bedrock, el mercado de modelos de IA de Amazon.
Anthropic afirma que el proyecto logra “[alta precisión].” Sin embargo, los documentos del Parlamento revelan lo contrario. El Parlamento utilizó una lista de treinta “preguntas de prueba” en francés. En la “[prueba]” del Parlamento, Claude se equivoca sobre el primer presidente de la Comisión Europea. Afirma que “Robert Schuman 7” es el primer presidente del Parlamento Europeo. “Robert Schuman 7” es probablemente la dirección de un café en Bruselas, que Claude puede haber memorizado. A pesar de los problemas con los LLMs, el Parlamento eligió a Claude.
La (falta de) evaluación del Parlamento
El Parlamento debería haber realizado una serie de evaluaciones antes de desplegar ‘Preguntar a los Archivos del PE’, que se aloja en Amazon AWS y está disponible para cualquier persona a través del sitio web del Parlamento. Sorprendentemente, el Parlamento no evaluó la herramienta para su uso por el público general.
“Este sistema está diseñado para un contexto de negocio a negocio más que de negocio a consumidor. Los usuarios esperados son jóvenes investigadores, investigadores, archiveros o historiadores.”
¿Por qué se hizo “un sistema diseñado para un contexto de negocio a negocio” abierto al público sin una evaluación adicional? Es probable que el público general tome la información del sitio web del Parlamento como autoritaria. Claude falla con preguntas simples.
Además, el Parlamento no ha realizado una evaluación de riesgos, una evaluación de impacto en la protección de datos, ni una evaluación de impacto ambiental adecuada. En cuanto a la ciberseguridad, el Parlamento depende de la seguridad por redacción.
¿Quién está en control?
Mientras el Parlamento ha fallado en evaluar la herramienta antes de su despliegue, Anthropic enumera al Parlamento entre sus clientes. Pero no hubo licitaciones ni contratos. Enforce fue informado que:
“El uso de los servicios especificados en su solicitud para los Archivos Históricos del Parlamento se realiza a través de la Comisión Europea actuando como intermediaria para servicios de corretaje en la nube… En ese sentido, no hay un contrato directo para el uso del Parlamento de Amazon Bedrock y Claude como lo proporciona Anthropic.”
La Comisión Europea tiene un contrato con Amazon AWS. El Parlamento depende del contrato de la Comisión. Pero ni la Comisión ni el Parlamento tienen un contrato con Anthropic para la IA generativa.
El Jefe de la Unidad de Archivos del Parlamento dijo en un video promocional para Anthropic: “Si usamos IA generativa, siempre necesitamos estar bajo control de la solución que hemos construido.” El Parlamento utiliza la infraestructura de Amazon, el mercado de Amazon y los modelos de IA financiados por Amazon de Anthropic.
El Parlamento no está en control. Amazon está.
Fin
Documentos recibidos del Parlamento Europeo a través de una solicitud de acceso a documentos:
- Lista de Evaluación de IA Confiable Archibot 3.0
- Las evaluaciones del Parlamento de los LLMs:
- Claude de Anthropic
- Sonnet 3.0 vs. 3.5
- Titan de Amazon
Notas:
- La EDPB afirma que ‘el mero hecho de que los datos personales sean públicamente accesibles y disponibles para el web scraping no implica que “el sujeto de los datos haya hecho manifestamente públicos tales datos”.
- El Parlamento también afirmó haber utilizado “ChaGPT” pero no proporcionó documentos cuando solicitamos preguntas y respuestas de prueba.
- Las respuestas de Titan no fueron mejores. Véase también la comparación entre Sonnet 3.0 y 3.5 “probadas” por el Parlamento.
- La evaluación ambiental se limita a la creencia del Parlamento en que Amazon AWS utiliza un 90% de energía renovable.
