Des cadres de gouvernance adaptés pour l’IA agentique

Les cadres de gouvernance d’aujourd’hui sont-ils prêts pour l’IA agentique ?

À mesure que les systèmes d’IA deviennent plus indépendants, ils commencent à faire plus que suivre de simples règles. Certains prennent désormais des décisions, délèguent des tâches et ajustent leurs objectifs — tout cela sans approbation humaine. Ces nouveaux systèmes agentiques soulèvent de nouveaux défis de gouvernance que les cadres actuels ne sont pas entièrement préparés à traiter.

Qui doit se préparer à l’impact ?

Il est essentiel pour toute personne responsable de la construction, de la gestion ou de la supervision de l’IA dans un environnement réglementé de prendre conscience de ces enjeux. Les hypothèses qui fonctionnaient pour des systèmes traditionnels basés sur des tâches ne tiennent pas pour des systèmes qui agissent de manière autonome. Sans normes plus claires concernant l’autonomie et l’autorité de décision, les organisations risquent d’être mal préparées face au comportement réel de ces agents.

Qu’est-ce qu’un système agentique ?

Un système agentique peut poursuivre des objectifs, prendre des décisions et agir avec peu ou pas de supervision humaine directe. Il peut interagir avec d’autres systèmes, changer de stratégie rapidement ou décider quand et comment escalader des tâches.

Cela soulève des questions fondamentales :

Quel degré de liberté un agent IA devrait-il avoir pour prendre des décisions ?
Qui est responsable lorsque le système agentique délègue une tâche à un autre système ou agent ?
Votre structure de supervision existante peut-elle détecter lorsque ce système dépasse ses limites assignées ?

Si votre modèle de gouvernance est basé sur des flux de travail fixes, des approbations statiques ou des examens manuels, il ne tiendra probablement pas le coup.

Un aperçu des cadres les plus couramment utilisés

Trois cadres forment souvent la base des programmes d’IA responsable : la norme ISO/IEC 42001, le cadre de gestion des risques de l’IA du NIST et l’Acte sur l’IA de l’UE. Chacun offre de la valeur, mais aucun d’eux ne fournit de réponses complètes en matière de gestion de l’autonomie et de l’autorité de décision dans les systèmes agentiques.

ISO/IEC 42001

Cette nouvelle norme internationale établit des exigences pour la mise en place d’un système de gestion de l’IA, en mettant l’accent sur la documentation, le contrôle des processus et l’amélioration continue. Elle est efficace pour aider les organisations à définir les rôles et responsabilités internes et à construire une approche structurée de la gouvernance de l’IA.

Cependant, elle ne fournit pas de conseils pratiques sur la définition ou la surveillance des limites du comportement autonome. Elle ne définit pas quelles décisions un système agentique peut ou ne peut pas prendre, ni comment gérer la délégation d’autorité à l’intérieur ou entre les systèmes.

Cadre de gestion des risques de l’IA du NIST

Le cadre du NIST se concentre sur l’identification, la mesure et la gestion des risques liés à l’IA. Il promeut des principes tels que la responsabilité et la transparence tout en soulignant l’importance du contexte.

Cela rend le cadre NIST flexible ; il peut être appliqué à une large gamme de systèmes, y compris ceux agentiques. Cependant, il ne définit pas les seuils d’autonomie acceptables ni n’explique comment surveiller la délégation de décisions ou la dérive des objectifs au fil du temps.

Acte sur l’IA de l’UE

L’Acte sur l’IA de l’UE est le cadre réglementaire le plus complet introduit à ce jour. Il impose des obligations spécifiques en fonction de la classification des risques. Les systèmes à haut risque doivent répondre à des exigences de documentation, de supervision et d’examen humain.

Cependant, l’Acte se concentre sur des cas d’utilisation, et non sur le comportement des systèmes. Il suppose que le système fonctionnera de manière connue et fixe. Il n’y a pas de directives détaillées sur ce qu’il convient de faire lorsqu’un système d’IA commence à se comporter différemment de ce qui était attendu.

Principaux écarts à considérer

Si vous développez ou gérez des systèmes agentiques, ces cadres omettent certains éléments importants :

Aucun standard pour les niveaux d’autonomie. Il n’existe pas de méthode cohérente pour définir le degré de liberté d’un système à agir sans révision ou approbation.
Aucune approche claire pour la délégation. Lorsque un système passe une tâche à un autre agent ou modèle, qui est responsable de ce qui se passe ensuite ?
Aucun outil pour détecter la dérive d’autonomie. De nombreux systèmes changent leur fonctionnement au fil du temps. Sans surveillance, vous pourriez ne pas savoir quand ils franchissent une limite jusqu’à ce qu’il soit trop tard.
Aucune supervision du comportement émergent. Les systèmes complexes se comportent parfois de manière inattendue, surtout lorsqu’ils interagissent avec d’autres systèmes. La plupart des cadres ne traitent pas cela directement.

Alors que l’IA agentique émerge rapidement, de nombreuses inconnues persistent, mais les problèmes exposés ci-dessus ne sont pas théoriques. Ces questions affectent déjà les entreprises qui se plongent dans l’IA agentique, et influencent la gestion des risques, le maintien de la conformité et la construction de la confiance avec les parties prenantes.

Conclusion

Les systèmes agentiques et les agents agentiques sont déjà déployés dans des milliers d’entreprises à travers divers secteurs. Si votre équipe explore des modèles adaptatifs, des assistants intelligents ou des agents autonomes, il est temps de reconnaître que vous ne traitez plus avec une simple automatisation.

Vos contrôles existants peuvent ne pas être suffisants et attendre que les régulateurs définissent chaque exigence est un risque. Il est maintenant temps de :