Qu’est-ce que la transparence ? – Éthique de l’IA
La transparence peut être définie de plusieurs manières. Elle est souvent associée à des concepts voisins tels que l’explainabilité (recherche en IA connue sous le nom de XAI), l’interprétabilité, la compréhension et la boîte noire.
La transparence est, en gros, une propriété d’une application. Elle concerne la mesure dans laquelle il est possible de comprendre le fonctionnement interne d’un système « en théorie ». Cela peut également signifier la manière de fournir des explications sur les modèles et décisions algorithmiques qui soient compréhensibles pour l’utilisateur. Cela touche à la perception publique et à la compréhension du fonctionnement de l’IA. La transparence peut aussi être considérée comme un idéal socio-technique et normatif plus large d’ « ouverture ».
La transparence comme propriété d’un système
En tant que propriété d’un système, la transparence aborde le fonctionnement ou la fonction interne d’un modèle. Elle se divise en simulabilité (compréhension du fonctionnement du modèle), décomposabilité (compréhension des composants individuels) et transparence algorithmique (visibilité des algorithmes).
Qu’est-ce qui rend un système une « boîte noire » ?
Complexité. Dans les systèmes d’IA contemporains, le fonctionnement d’un réseau de neurones est codé dans des milliers, voire des millions, de coefficients numériques. Typiquement, le système apprend leurs valeurs lors de la phase d’entraînement. Étant donné que le fonctionnement du réseau dépend des interactions compliquées entre ces valeurs, il est pratiquement impossible de comprendre comment le réseau fonctionne, même si tous les paramètres sont connus.
Difficulté à développer des solutions explicables. Même si les modèles d’IA utilisés supportent un certain niveau d’explainabilité, un développement supplémentaire est nécessaire pour construire l’explicabilité du système. Il peut être difficile de créer une expérience utilisateur pour des explications à la fois précises et facilement compréhensibles pour les utilisateurs.
Préoccupations liées aux risques. De nombreux algorithmes d’IA peuvent être trompés si un attaquant conçoit soigneusement une entrée qui provoque un dysfonctionnement du système. Dans un système très transparent, il peut être plus facile de manipuler le système pour obtenir des résultats étranges ou indésirables. Ainsi, parfois, les systèmes sont intentionnellement conçus comme des boîtes noires.
Étant donné que de nombreux modèles de deep learning actuels les plus efficaces sont par définition des modèles de boîte noire, les chercheurs semblent supposer qu’il est très peu probable que nous puissions les développer de manière entièrement transparente. En conséquence, la discussion se concentre sur la recherche du « niveau de transparence suffisant« . Suffirait-il que les algorithmes offrent aux gens une divulgation sur la manière dont les algorithmes ont pris leur décision et fournissent le plus petit changement « à apporter pour obtenir un résultat souhaitable » ?
La transparence comme compréhensibilité
La compréhensibilité – ou compréhension – d’un algorithme exige que l’on explique comment une décision a été prise par un modèle d’IA d’une manière suffisamment compréhensible pour ceux qui sont affectés par le modèle. Il faut avoir une idée concrète de la manière dont une décision particulière a été prise en fonction des entrées.
Cependant, il est notoirement difficile de traduire des concepts dérivés algorithmiquement en concepts compréhensibles par l’homme. Dans certains pays, les législateurs ont discuté de la nécessité pour les autorités publiques de publier les algorithmes qu’ils utilisent dans la prise de décision automatisée en termes de codes de programmation. Cependant, la plupart des gens ne savent pas comment interpréter les codes de programmation. Il est donc difficile de voir comment la transparence est augmentée en publiant des codes.
De nos jours, les scientifiques cognitifs et informatiques développent des descriptions interprétables par l’homme de la manière dont les applications se comportent et pourquoi. Des approches incluent, par exemple, le développement d’outils de visualisation des données, d’interfaces interactives, d’explications verbales ou de descriptions au niveau méta des caractéristiques des modèles. Ces outils peuvent être extrêmement utiles pour rendre les applications d’IA plus accessibles. Cependant, il reste encore beaucoup de travail à faire.
Comment rendre les modèles plus transparents ?
Le problème de la boîte noire de l’intelligence artificielle n’est pas nouveau. Fournir de la transparence pour les modèles d’apprentissage automatique est un domaine de recherche actif. En gros, il existe cinq approches principales :
- Utiliser des modèles plus simples. Cela, cependant, sacrifie souvent l’exactitude au profit de l’explicabilité.
- Combiner des modèles plus simples et plus sophistiqués. Alors que le modèle sophistiqué permet au système d’effectuer des calculs plus complexes, le modèle plus simple peut être utilisé pour fournir de la transparence.
- Modifier les entrées pour suivre les dépendances pertinentes entre les entrées et les sorties. Si une manipulation des entrées change les résultats globaux du modèle, ces entrées peuvent jouer un rôle dans la classification.
- Concevoir les modèles pour l’utilisateur. Cela nécessite d’utiliser des méthodes et outils cognitivement et psychologiquement efficaces pour visualiser les états du modèle ou diriger l’attention.
- Suivre les dernières recherches. Beaucoup de recherches sont en cours sur divers aspects de l’IA explicable – y compris les dimensions sociocognitives – et de nouvelles techniques sont en cours de développement.
