Alerte pour la gouvernance des interactions multi-agents d’IA
Ce mois-ci, la société maritime italienne Grimaldi Group a lancé son nouveau transporteur de 9 000 unités, le Grande Tianjin, lors de son voyage inaugural, transportant des véhicules électriques de la Chine vers l’Europe. En cours de route, il traversera différentes juridictions, naviguera entre des nations concurrentes et ajustera son parcours en fonction des routes suivies par d’autres navires. La fluidité d’un tel voyage repose sur un réseau très fonctionnel de cadres juridiques, d’infrastructures et de supervision.
Remplaçons maintenant un navire maritime par un agent d’IA. C’est un système capable de prendre des décisions dans un environnement bien plus complexe que la mer. Il peut interagir avec d’autres systèmes d’IA pour atteindre ses objectifs et poser des risques sans précédent en le faisant. Bien que ce scénario complexe soit déjà en train de se dérouler, il existe des cadres de gouvernance extrêmement limités pour garantir que ces interactions d’IA restent sûres.
Les systèmes d’IA multi-agents posent de nouveaux risques
Les entreprises développent des agents d’IA, définis comme capables d’opérer dans des environnements complexes et de poursuivre des objectifs avec peu d’instructions ou de supervision. Bien que les capacités d’agents du GPT-5 aient suscité un certain scepticisme, il existe une forte incitation sur le marché à continuer de construire ces systèmes. Au Royaume-Uni, OpenAI a annoncé un accord avec le gouvernement, et Palantir collabore avec le NHS. En Europe, l’Archibot d’Anthropic explore les archives du Parlement européen.
Alors que les secteurs privé et public accélèrent leur adoption pour en tirer une valeur commerciale, les agents d’IA devront communiquer et interagir tant entre eux qu’avec les humains pour accomplir leurs tâches, créant ainsi des systèmes d’IA multi-agents. Des scénarios troublants soulignent déjà les modes de défaillance potentiels pouvant découler de ces interactions multi-agents, notamment :
- Des systèmes d’IA contrôlant le marché du gazole en Allemagne ont été montrés colludant au détriment des clients.
- Des systèmes d’IA engagés dans trois scénarios simulés de partage de ressources ont accéléré l’épuisement des ressources.
- Des véhicules autonomes propulsés par l’IA, ayant des stratégies parfaitement valables pour assurer la sécurité des passagers, peuvent échouer à coordonner leurs stratégies si celles-ci sont incompatibles.
Bien que les agents d’IA puissent fonctionner de manière autonome, leur compréhension du contexte dans lequel ils se trouvent et des conséquences de leurs actions est limitée. De plus, les modèles fondamentaux formant la base des agents d’IA ne sont pas conçus en tenant compte des risques multi-agents et manquent de l’intelligence coopérative nécessaire pour interagir en toute sécurité.
Une hypothèse connexe est que la sécurité dans les évaluations d’agents uniques conduit à la sécurité dans un cadre multi-agents. Cependant, la recherche montre que c’est une fausse assurance. Par exemple, des agents d’IA jugés sûrs se sont révélés capables de réaliser des cyberattaques en partageant des sous-tâches apparemment inoffensives entre eux.
Le besoin de construire des infrastructures et des normes pour une coopération sûre des IA
Face à ce contexte, le Code de conduite sur l’IA à usage général de l’UE est un bon début. Pour la première fois, un cadre de gouvernance a reconnu les risques inhérents découlant des interactions multi-agents. Il précise les obligations de conformité des fournisseurs de systèmes d’IA opérant dans l’UE pour atténuer ces risques tout au long du cycle de vie de l’IA.
Bien que le Code de pratique de l’UE soit bienvenu, liant les engagements de sécurité à la Loi sur l’IA contraignante, il n’est qu’une pièce d’un puzzle plus vaste. En Europe, le JCT21 CEN CENELEC travaillera également sur des normes pour remplacer le code de pratique d’ici 2027. De plus, les Instituts de sécurité de l’IA commencent à développer des méthodologies pour l’évaluation des capacités agentiques et des interactions multi-agents.
Cependant, comme souvent avec des mesures de sécurité uniques en matière d’IA, le rythme auquel les cadres de gouvernance et de politique sont mis en œuvre est en retard par rapport aux incitations du marché pour le déploiement rapide de ces systèmes.
Leçons de la gouvernance maritime
Bien que plus simples que la nature complexe des systèmes d’IA multi-agents, le secteur maritime peut offrir des directives inspirantes sur la manière de construire la bonne gouvernance et l’infrastructure pour les agents d’IA aujourd’hui :
- Rendre l’invisible visible. Dans l’industrie maritime, les systèmes d’identification automatisés (AIS) permettent de suivre la localisation, la vitesse, la propriété, les objectifs et les itinéraires passés d’un navire. Les agents d’IA — dont la plupart sont actuellement virtuellement invisibles — devraient devenir découvrables et transparents.
- La loi maritime, ancrée dans des cadres tels que la Convention des Nations Unies sur le droit de la mer (UNCLOS), définit des obligations de coopération bilatérale, régionale et internationale. Dans notre contexte, le Traité sur l’IA du Conseil de l’Europe pourrait être un bon point de départ pour établir des accords juridiques.
- Devons-nous construire une infrastructure coopérative décentralisée ? Tout comme les systèmes maritimes reposent sur des mécanismes de communication, de coordination et de résolution des conflits, les agents d’IA auront besoin de cadres similaires.
Une telle infrastructure doit favoriser la confiance, permettre la coordination et garantir la responsabilité, fournissant aux régulateurs une supervision et clarifiant la responsabilité en cas d’échecs.
Une fenêtre de gouvernance pour l’Europe
L’accélération du déploiement de l’IA sous la pression du marché produit un réseau d’interactions et de résultats d’une complexité sans précédent. Pour y faire face, il sera nécessaire d’évaluer les aspects techniques des modèles d’IA fondamentaux que nous développons. Mais tout aussi important, sans investissement opportun dans la gouvernance, ces risques et résultats seront à la fois imprévisibles et difficiles à superviser.
Nous ne permettrions pas à des navires de naviguer ou à des avions de décoller sans visibilité, coordination ou protocoles d’évitement des conflits. Et pourtant, nous sommes sur le point de faire cela avec des systèmes d’IA avancés (et actuellement faillibles).
Avec l’absence de réglementation au Royaume-Uni et une situation floue aux États-Unis, c’est l’Europe qui peut ouvrir la voie à un déploiement responsable de l’IA multi-agents en établissant des mesures de gouvernance et d’infrastructure pour que le monde puisse en suivre l’exemple.
