Les risques de supervision et les cas d’utilisation de l’IA agentique dans les services financiers
Le 27 janvier, une discussion a été publiée concernant l’IA agentique, décrivant comment certaines entreprises commencent à expérimenter des systèmes d’IA autonomes et identifiant les considérations de supervision associées à ces déploiements précoces.
Il a été noté qu’à la différence des outils d’automatisation traditionnels, les agents d’IA peuvent fonctionner à travers plusieurs systèmes et sources de données avec divers niveaux d’indépendance, soulevant des questions sur l’application des cadres de supervision et de gouvernance existants pour des outils qui peuvent agir sans intervention humaine continue.
Risques associés à l’IA agentique
Sur la base de la surveillance des risques et des interactions avec les entreprises, plusieurs domaines de risque associés à l’utilisation de l’IA agentique ont été identifiés. Les principaux risques soulignés incluent :
- Risques d’autonomie, de portée et d’autorité. Les agents d’IA peuvent initier des actions sans validation humaine significative ou agir au-delà de leur portée ou de l’autorité de l’utilisateur si les limites et les mécanismes d’approbation ne sont pas clairement définis et appliqués.
- Défis d’auditabilité et d’explicabilité. Les processus de raisonnement et de décision en plusieurs étapes peuvent rendre le comportement des agents difficile à tracer, à expliquer ou à reconstruire, compliquant ainsi la supervision, les tests et les revues post-incident.
- Risques liés à la gouvernance des données et à la confidentialité. Les agents opérant à travers des systèmes et des ensembles de données peuvent, de manière involontaire, stocker, explorer, divulguer ou utiliser de manière inappropriée des informations sensibles ou propriétaires.
- Limitations de conception des modèles et de connaissance du domaine. Les agents à usage général peuvent manquer de l’expertise spécialisée nécessaire pour des tâches complexes dans les services financiers, et des objectifs ou mécanismes de renforcement mal conçus peuvent entraîner des résultats non alignés sur les intérêts des investisseurs ou du marché.
- Risques persistants liés à l’IA générative. Les biais, les hallucinations et les préoccupations en matière de confidentialité demeurent présents et peuvent être amplifiés lorsque les systèmes d’IA fonctionnent avec une autonomie accrue.
Implications pour les institutions financières
Les observations rappellent que les institutions financières restent responsables de la supervision des activités pilotées par l’IA, même lorsque les outils fonctionnent avec une autonomie significative et sans exigences technologiques spécifiques nouvelles. Les institutions envisageant l’IA agentique devraient évaluer si les contrôles existants en matière de supervision, d’escalade, de documentation et de gouvernance des données sont suffisants pour des systèmes capables de planifier et d’agir de manière indépendante.
