Comment ne pas déployer l’IA générative : l’histoire du Parlement européen
Le Parlement européen a récemment fait l’objet de critiques pour sa décision d’acheter Claude, un système d’IA qui ne parvient pas à fournir des informations précises, comme le nom du premier président de la Commission européenne.
En octobre 2024, le Parlement a choisi un modèle d’IA pour opérer une nouvelle archive historique où les citoyens peuvent poser des questions et recevoir des réponses. L’entreprise Anthropic, fournissant ce service, se positionne comme une alternative plus fiable à des entreprises comme Meta, Google, et OpenAI. Cependant, une enquête a révélé que le Parlement utilise une technologie d’IA peu fiable produisant des résultats erronés.
Une foi aveugle dans l’IA constitutionnelle d’Anthropic
Le modèle d’IA d’Anthropic, Claude, repose sur des principes connus sous le nom de Constitutionnal AI. Ces principes, choisis par Anthropic, utilisent des critères tels que « utile, honnête et inoffensif », jugés simples et mémorables. Jusqu’à présent, aucune évaluation indépendante n’a établi que ces critères soient réellement significatifs ou que le produit d’Anthropic corresponde à ses allégations.
Malgré cela, l’Unité des archives du Parlement traite les affirmations d’Anthropic comme une vérité absolue. Les membres du Parlement européen étaient à l’avant-garde de la proposition de règles dans la loi sur l’IA pour traiter les risques liés aux systèmes d’IA générative, comme Claude. Au lieu de suivre ces règles, l’Unité des archives du Parlement s’est fiée aux déclarations d’Anthropic, comme le montrent les documents internes.
Des générateurs de « bullshit » pour l’accès aux archives
Le traitement illégal des données personnelles n’est pas le seul problème avec les modèles de langage de grande taille (LLM). Ces systèmes mémorisent leurs données d’entraînement et régurgitent des informations. Ils sont des systèmes probabilistes qui peuvent générer ce que certains appellent du « bullshit ». Les LLM ne devraient pas être utilisés lorsque l’exactitude de l’information est nécessaire.
Cependant, le Parlement n’a pas évalué d’alternatives non-LLM et n’a « testé » que deux modèles LLM : Claude d’Anthropic et Titan d’Amazon. Anthropic prétend que le projet atteint une « haute précision », mais les documents du Parlement révèlent le contraire. Par exemple, lors d’un test, Claude a désigné « Robert Schuman 7 » comme premier président du Parlement européen, une information incorrecte.
Le manque d’évaluation du Parlement
Le Parlement aurait dû effectuer une série d’évaluations avant de déployer le système « Ask the EP Archives », qui est hébergé sur Amazon AWS. Étonnamment, le Parlement n’a pas évalué cet outil pour un usage par le grand public, bien que ce système soit ouvert à tous.
Il est préoccupant qu’un système conçu pour un contexte business-to-business ait été rendu accessible au public sans évaluation adéquate. Le grand public est susceptible de considérer les informations du site du Parlement comme autoritaires, alors que Claude échoue même sur des questions simples.
Qui est aux commandes ?
Alors que le Parlement a échoué à évaluer l’outil avant son déploiement, Anthropic le liste parmi ses clients. Cependant, il n’y a eu aucun appel d’offres ou contrat. L’utilisation par le Parlement des services mentionnés est faite par l’intermédiaire de la Commission européenne, qui a un contrat avec Amazon AWS.
Cependant, ni la Commission ni le Parlement n’ont de contrat direct avec Anthropic pour l’IA générative. La direction de l’Unité des archives du Parlement a déclaré dans une vidéo promotionnelle qu’« en utilisant l’IA générative, nous devons être sous le contrôle de la solution que nous avons construite ». Mais dans les faits, c’est Amazon qui contrôle le système.
Conclusion
Le déploiement de l’IA par le Parlement européen soulève de nombreuses questions sur la responsabilité et le contrôle. Sans une évaluation adéquate des outils d’IA, le risque de fournir des informations erronées au public reste préoccupant.
