Préoccupations concernant la fiabilité de l’IA conduisent à proposer une supervision formelle
Le département des technologies de l’information propose la création d’un Centre d’Excellence pour l’intelligence artificielle afin de superviser l’adoption sécurisée des technologies d’IA au sein du gouvernement local. Cette initiative est une réponse à une récente augmentation des violations de sécurité des données fédérales et des préoccupations liées à la fiabilité de l’IA.
Contexte et justification
Les responsables ont cité le vol de milliards de dossiers ainsi que plusieurs affaires judiciaires concernant la désinformation générée par l’IA comme raisons principales pour créer un cadre de gouvernance formel. Le centre fournirait une supervision de la sécurité et des processus documentés pour les employés et les résidents.
Budget et financement
Le budget proposé de 118 000 dollars pour l’année fiscale 2027 inclut 75 000 dollars pour un poste à temps plein et 18 000 dollars pour des licences technologiques. Les fonds restants seraient alloués à la formation, aux services de conseil et à de nouveaux outils de sécurité destinés à détecter les hallucinations de l’IA et à surveiller les injections de requêtes.
Risques et implications
Le projet met en évidence une « crise de fiabilité de l’IA », notant que 486 affaires judiciaires dans le monde ont impliqué des hallucinations de l’IA, dont 324 aux États-Unis. Une étude de Stanford a révélé que les organisations disposant d’une gouvernance documentée de l’IA voient une réduction de 96 % des erreurs liées à l’IA. Sans ces processus, le département des TI a averti qu’il n’y aurait aucune défense en cas de litige ni protection contre les menaces internes.
Plans futurs
La proposition inclut une mise à jour de la politique d’utilisation acceptable, stipulant que tous les contenus générés par l’IA doivent être validés par un humain. Les employés sont interdits de télécharger des informations personnelles identifiables sur des plateformes d’IA publiques. Si la proposition est approuvée, la première réunion du comité directeur aura lieu dans les 30 jours.
Conclusion
Cette initiative vise à protéger la confiance du public dans l’utilisation de l’IA, en formalisant la supervision nécessaire pour éviter des problèmes futurs et assurer une utilisation éthique et sécurisée des technologies d’IA.
