Éviter la fracture entre l’IA et la gouvernance d’entreprise : Une mise en garde
Construire un système de gestion de l’IA à haute intégrité nécessite de faire face à une vérité inconfortable : une gouvernance qui semble robuste sur le papier peut encore s’effondrer catastrophiquement lorsqu’elle est déconnectée d’une supervision organisationnelle plus large. Cette réalité a été mise en lumière par un récent échec catastrophique de la prise de décision automatisée en Australie.
Le système Robodebt, mis en œuvre en 2016 par le gouvernement australien, utilisait un appariement automatique des données pour accuser des centaines de milliers de bénéficiaires de prestations sociales de fraude. Le défaut fondamental du système était simple mais dévastateur : il moyennait le revenu annuel sur des périodes de deux semaines pour identifier des supposés trop-perçus, ignorant que de nombreux bénéficiaires avaient des revenus variables qui fluctuaient tout au long de l’année. Des personnes vulnérables ont reçu d’énormes avis de dettes incorrects, souvent pour des montants atteignant des dizaines de milliers de dollars. Le coût humain était énorme. Le stress et le traumatisme ont conduit à au moins trois suicides connus.
« Robodebt était un mécanisme brut et cruel, ni juste ni légal, et il a fait sentir à de nombreuses personnes qu’elles étaient des criminels. »
Ce qui est le plus révélateur à propos de Robodebt n’est pas seulement ses défauts techniques, mais la façon dont un système analytique avancé avec une gouvernance apparemment robuste a pu échouer si catastrophiquement. Le programme avait des contrôles techniques sophistiqués, des processus de supervision formels et des procédures documentées. Pourtant, lorsque le Tribunal des appels administratifs a commencé à déclarer le programme illégal dès 2016, ses décisions n’ont jamais atteint correctement les décideurs clés.
Il y avait 132 décisions distinctes des tribunaux trouvant les calculs de dettes du programme légalement invalides. Pourtant, le système a continué à fonctionner pendant des années, protégé par des structures de gouvernance et une bureaucratie qui existaient en isolement par rapport à une supervision organisationnelle plus large. Ces déconnexions entre les contrôles techniques et la gouvernance organisationnelle ont permis aux dirigeants de « doubler » sur le programme même lorsque des preuves s’accumulaient concernant ses défauts fondamentaux. La Commission royale a ensuite cité « la vénalité, l’incompétence et la lâcheté » comme des facteurs ayant soutenu le programme malgré des preuves claires de ses échecs.
Les risques de déconnexion dans les organisations modernes
Il existe un risque réel qu’une déconnexion similaire se produise au sein des nombreuses organisations mettant en œuvre des systèmes d’IA aujourd’hui. Un fournisseur de services cloud peut effectuer une validation de modèle extraordinaire tout en échouant à l’intégrer dans les processus de gestion des risques d’entreprise ou à considérer l’impact d’une mauvaise utilisation. Une entreprise de services financiers peut mettre en place une surveillance de sécurité robuste sans l’intégrer dans son mécanisme de surveillance de la fraude et de la manipulation interne. Un fabricant peut créer une vision avancée assistée par IA dans un dispositif miniature, sans réfléchir à la manière dont un tel dispositif pourrait être utilisé pour la surveillance et l’intrusion dans la vie privée.
L’intégration de la gouvernance de l’IA dans les processus existants
La solution n’est pas de créer plus de rigidité et de bureaucratie, mais plutôt de tisser la gouvernance de l’IA dans le tissu existant de votre organisation. La gouvernance de l’IA doit commencer par comprendre comment votre organisation gère déjà les risques, assure la qualité et maintient la conformité. Où les décisions sont-elles prises ? Comment l’information circule-t-elle ? Quels processus existent déjà pour traiter les problèmes ou approuver les changements ?
Cette intégration nécessite des efforts et une réflexion soigneuse. Vous devrez identifier les lacunes où les processus existants nécessitent des améliorations. Vous devrez former les personnes sur de nouvelles considérations tout en tirant parti de leur expertise existante. Mais cet investissement en vaut la peine pour créer une gouvernance qui fonctionne en pratique, et pas seulement sur le papier.
Construire des ponts vers des pratiques de gouvernance existantes
Voici quelques techniques pratiques pour cartographier ces connexions et construire ces intégrations. L’objectif n’est pas de créer une gouvernance parfaite, mais une gouvernance qui fonctionne, apprenant des échecs comme Robodebt pour construire des systèmes qui protègent véritablement les parties prenantes tout en permettant l’innovation.
Commencez par rassembler trois ensembles de documents critiques : votre organigramme, votre registre des risques et de conformité, et vos politiques et procédures documentées actuelles. Identifiez les comités où des décisions technologiques et de risque significatives sont prises. Ensuite, cartographiez les rôles et responsabilités individuels, en mettant l’accent sur les leaders informels et les personnes qui font que la gouvernance fonctionne en pratique.
Examinez ensuite vos mécanismes de surveillance et de reporting. Quels indicateurs de performance guident les décisions ? Documentez où ces mécanismes fonctionnent bien et où ils échouent. Identifiez les points d’intégration où la gouvernance de l’IA doit se brancher sur les processus existants.
Les chevauchements entre la sécurité, la vie privée et la gouvernance de l’IA
De nombreuses organisations explorant la gouvernance de l’IA disposent déjà de systèmes de gestion de la sécurité établis, souvent certifiés à la norme ISO 27001, et de cadres de confidentialité alignés sur des normes telles que l’ISO 27701. Cette fondation existante est précieuse pour construire une gouvernance efficace. La gouvernance de l’IA doit s’intégrer à ces systèmes pour traiter de nouveaux défis tels que le biais algorithmique et la prise de décision automatisée.
En conclusion, la tragédie de Robodebt démontre ce qui se passe lorsque nous échouons à comprendre ces connexions – lorsque la gouvernance existe sur le papier mais pas dans la pratique, lorsque les contrôles techniques et opérationnels fonctionnent en isolement de la supervision organisationnelle, et lorsque les signes d’alerte se perdent dans les lacunes entre les systèmes.
À ce stade de notre parcours, nous sommes prêts à construire quelque chose de plus robuste, en commençant par le cadre de gouvernance qui formera la base de votre système de gestion de l’IA.
