Au-delà des modèles sûrs : Pourquoi la gouvernance de l’IA doit s’attaquer aux écosystèmes non sécurisés
Un outil sûr peut devenir dangereux entre de mauvaises mains, tout comme un modèle d’IA bien aligné peut causer des dommages lorsqu’il est déployé dans des systèmes non alignés, opaques ou mal préparés. Bien que l’attention mondiale portée à la gouvernance de l’IA soit en augmentation, une grande partie de l’accent reste mise sur la sûreté des modèles – en veillant à ce que l’outil fonctionne comme prévu. Cependant, certains des risques les plus immédiats ne proviennent pas de l’IA elle-même, mais de la manière dont elle fonctionne dans son contexte, lorsqu’elle est intégrée dans des institutions présentant des incitatifs conflictuels, un supervision faible ou des garanties inadéquates.
La loi AI Act de l’UE jette des bases importantes en introduisant des obligations procédurales et techniques et en restreignant certaines applications à haut risque. Cependant, comme de nombreux efforts actuels, elle se concentre principalement sur les propriétés des modèles d’IA, plutôt que sur les environnements dans lesquels ils sont déployés. Pour gouverner efficacement l’IA, nous devons élargir notre attention des modèles sûrs aux écosystèmes sûrs.
Des risques de déploiement non théoriques
Les systèmes de recommandation sur les plateformes de médias sociaux, par exemple, sont techniquement solides – construits pour optimiser l’engagement des utilisateurs. Cependant, en agissant ainsi, ils ont été trouvés pour amplifier la polarisation et la désinformation. Le mal ne réside pas dans la logique de l’algorithme, mais dans l’incitation de la plateforme à prioriser l’attention à tout prix.
De même, les outils d’IA utilisés dans le recrutement ont montré de la discrimination raciale et de genre malgré le respect des normes techniques. Un système a classé les candidats plus bas pour avoir fréquenté des collèges pour femmes, non pas en raison d’un échec technique, mais parce qu’il a hérité de biais issus des décisions de recrutement passées et a été déployé sans supervision ou contestation significative.
De modèles sûrs à des écosystèmes sûrs
Malgré les risques évidents d’écosystèmes de déploiement non sécurisés, l’approche actuelle de la gouvernance de l’IA met encore fortement l’accent sur des interventions pré-déploiement, telles que la recherche sur l’alignement, les outils d’interprétabilité et les tests de résistance, visant à garantir que le modèle lui-même soit techniquement solide. Les initiatives de gouvernance comme l’AI Act de l’UE, bien que vitales, imposent principalement des obligations aux fournisseurs et aux développeurs pour assurer la conformité par la documentation, la transparence et les plans de gestion des risques.
Cependant, la gouvernance de ce qui se passe après le déploiement, lorsque ces modèles entrent dans des institutions avec leurs propres incitations, infrastructures et supervision, reçoit une attention comparativement moindre. Par exemple, bien que l’AI Act de l’UE introduise une surveillance post-marché et des obligations pour les déployeurs de systèmes d’IA à haut risque, ces dispositions restent limitées en portée. La surveillance se concentre principalement sur la conformité technique et la performance, avec peu d’attention aux impacts institutionnels, sociaux ou systémiques plus larges.
Les écosystèmes de déploiement comme source de risques
Comme l’ont montré les cas d’IA biaisée en matière de recrutement et de systèmes de recommandation polarisants, c’est dans l’écosystème de déploiement que bon nombre des risques se matérialisent. Cet écosystème est un environnement complexe et interconnecté impliquant les institutions qui déploient l’IA, les objectifs qu’elles optimisent (tels que l’efficacité, l’engagement ou le profit), l’infrastructure technique et organisationnelle soutenant son utilisation, et les contextes légaux, réglementaires et sociaux dans lesquels elle opère.
Chaque élément de cet écosystème est interdépendant : les choix faits dans un domaine influencent et sont influencés par d’autres. Par exemple, si les déployeurs manquent de formation adéquate parce que les structures d’incitation privilégient un déploiement rapide plutôt qu’une préparation approfondie, ou si le public n’a pas de recours pour contester les décisions automatisées, alors la sécurité technique seule ne peut pas prévenir les dommages en aval.
Un cadre d’évaluation des risques contextuels
Pour aider à déplacer l’accent au-delà de la gouvernance centrée sur le modèle, il est crucial de mettre en évidence quatre caractéristiques critiques des écosystèmes de déploiement qui peuvent amplifier ou atténuer les risques de l’IA en pratique :
- Alignement des incitatifs : La gouvernance doit considérer si les institutions déployant des systèmes d’IA privilégient le bien public plutôt que des objectifs à court terme, tels que le profit ou l’engagement.
- Préparation contextuelle : Tous les écosystèmes de déploiement ne sont pas également équipés pour gérer les risques de l’IA. Des facteurs sous-jacents tels que les protections juridiques, l’infrastructure technique et la résilience institutionnelle influencent la manière dont un modèle peut être utilisé de manière responsable.
- Responsabilité institutionnelle et transparence du pouvoir : Les institutions déployant des systèmes d’IA doivent être structurées de manière responsable, contestable et équitable, avec des lignes de responsabilité claires et des mécanismes pour contester les décisions.
- Surveillance adaptative et risques émergents : Les systèmes d’IA interagissent avec des environnements sociaux dynamiques, produisant souvent des effets imprévus. La gouvernance doit donc être itérative, capable de surveiller les résultats du monde réel et de répondre aux nouveaux risques à mesure qu’ils émergent.
Conclusion
En conclusion, nous n’avons pas seulement besoin de modèles sûrs, mais d’écosystèmes de déploiement sûrs. Alors que l’IA devient de plus en plus intégrée dans nos sociétés, les risques ne résident pas seulement dans un code défaillant, mais dans les angles morts de la gouvernance : des incitations que nous n’examinons pas, des contextes que nous n’évaluons pas et des dommages que nous ne remarquons que trop tard. Il est essentiel d’élargir le champ de la gouvernance pour inclure la sécurité de l’écosystème de déploiement de manière systématique.
