Une IA Responsable dans le Gouvernement : Commencer par l’Approvisionnement
En 2018, le public a appris que le département de police de la Nouvelle-Orléans utilisait un logiciel de police prédictive de Palantir pour décider où envoyer des agents. Cette révélation a suscité des inquiétudes parmi les groupes de défense des droits civiques concernant le potentiel de biais racial de cet outil. Cependant, le problème plus profond n’était pas seulement la manière dont la technologie fonctionnait, mais aussi les processus ayant conduit à son adoption par la ville. Qui a approuvé son utilisation ? Pourquoi a-t-elle été cachée au public ?
Toutes les villes américaines s’appuient sur des processus d’approvisionnement public établis pour contracter avec des fournisseurs privés. Ces réglementations, souvent ancrées dans la loi, s’appliquent à tous les achats gouvernementaux, qu’il s’agisse de bus scolaires, de fournitures de bureau ou de systèmes d’intelligence artificielle. Cependant, le cas de la Nouvelle-Orléans a mis en lumière une faille majeure dans les règles d’approvisionnement de la ville : puisque Palantir avait donné le logiciel gratuitement, l’accord a contourné les processus habituels de contrôle. Aucun argent n’a changé de mains, ce qui n’a pas déclenché les vérifications standard telles que l’obligation d’un débat et d’une approbation par le conseil municipal. En conséquence, les responsables clés de la ville et les membres du conseil n’avaient aucune idée de l’existence de ce partenariat.
Inspirée par cette histoire et d’autres à travers les États-Unis, une équipe de recherche a décidé d’examiner les processus d’achat qui façonnent les décisions critiques concernant l’IA dans le secteur public. Grâce à des entretiens avec dix-neuf employés municipaux basés dans sept villes anonymes aux États-Unis, il a été constaté que les pratiques d’approvisionnement varient considérablement d’une localité à l’autre, influençant ce qui est possible en matière de gouvernance de l’IA dans le secteur public.
Le Rôle de l’Approvisionnement
L’approvisionnement joue un rôle puissant dans la définition des décisions critiques concernant l’IA. En l’absence de réglementation fédérale concernant les fournisseurs d’IA, l’approvisionnement demeure l’un des rares leviers dont disposent les gouvernements pour promouvoir des valeurs publiques telles que la sûreté, la non-discrimination, la vie privée et la responsabilité. Cependant, les efforts visant à réformer les pratiques d’approvisionnement des gouvernements pour traiter les risques émergents des technologies d’IA échoueront s’ils ne tiennent pas compte de la manière dont les décisions d’achat sont réellement prises sur le terrain.
Lorsqu’on demande ce que l’approvisionnement implique, beaucoup pensent à un processus de sollicitation compétitive, qui implique souvent un examen suivi d’une décision de récompense. Une fois qu’un cas d’utilisation de l’IA a été identifié, un gouvernement initie un processus de sollicitation où il définit ses besoins et invite les fournisseurs à soumettre des propositions (une « Demande de Proposition », ou RFP). Les employés municipaux suivent ensuite des processus d’examen structurés pour évaluer les systèmes d’IA proposés par les fournisseurs et sélectionner un gagnant.
Les Chemins d’Achat Alternatifs
Pourtant, comme nous l’avons vu, de nombreux systèmes d’IA contournent complètement le processus de sollicitation formel. En effet, les villes utilisent souvent des chemins d’achat alternatifs. Par exemple, la loi sur l’approvisionnement permet généralement aux achats de faible montant de contourner l’appel d’offres compétitif. Les employés peuvent acheter des outils d’IA à faible coût en utilisant des cartes d’achat gouvernementales.
D’autres chemins d’achat alternatifs incluent des IA offertes par des entreprises, acquises par le biais de partenariats universitaires ou disponibles gratuitement au public, comme ChatGPT. Les fournisseurs déploient de plus en plus de nouvelles fonctionnalités d’IA dans leurs contrats existants, sans en informer le public ou le personnel de la ville. Le résultat est que la plupart des ressources disponibles pour soutenir un approvisionnement responsable en IA ne s’appliquent pas à la majorité des acquisitions d’IA aujourd’hui.
Organisation et Gestion des Achats par les Gouvernements Locaux
À travers les villes interrogées, l’une des plus claires divisions était celle des employés municipaux impliqués dans chaque acquisition d’IA. Certaines villes avaient établi des processus d’oversight entièrement centralisés, tandis que d’autres avaient des structures décentralisées, permettant à des départements individuels tels que la police, les pompiers et les écoles de gérer leur propre portefeuille informatique.
Ces arrangements de gouvernance ont de réelles implications pour la capacité de contrôle et suggèrent qu’une approche de réforme unique est peu susceptible de réussir. Certaines villes ont commencé à adopter des examens centralisés qui nécessitent l’implication d’« experts en IA » formés pour évaluer les risques liés à l’IA dans chaque acquisition, permettant ainsi un contrôle plus cohérent.
Questions Ouvertes pour l’Avenir
Les défenseurs ont depuis longtemps reconnu le potentiel de l’approvisionnement public pour jouer un rôle de garde-fou dans la détermination des technologies qui sont acquises et déployées. L’année écoulée a marqué un moment particulièrement excitant pour les gouvernements locaux qui ont commencé à intégrer des considérations responsables en matière d’IA dans leurs pratiques d’approvisionnement public existantes.
La recherche soulève des questions clés que les gouvernements locaux devront aborder pour établir une surveillance efficace pour toutes les acquisitions d’IA :
- Comment les gouvernements locaux peuvent-ils mettre en place des processus de contrôle et d’examen pour les propositions d’IA qui peuvent contourner le processus de sollicitation conventionnel ?
- Qui au sein d’un gouvernement a la capacité et le levier nécessaires pour identifier et gérer les risques posés par la technologie IA acquise ?
- Comment les flux de travail d’approvisionnement existants peuvent-ils être restructurés pour garantir que les bonnes personnes soient impliquées dans l’évaluation significative des solutions d’IA proposées ?
Il n’existe pas de modèle unique pour la manière dont les gouvernements locaux devraient structurer leurs processus d’approvisionnement afin de promouvoir un approvisionnement et une gouvernance responsables de l’IA. Cependant, ce moment offre une occasion rare aux experts en politiques, chercheurs et défenseurs de se rassembler pour remodeler l’approvisionnement en IA.
