Comprendre le droit à l’explication et la prise de décision automatisée dans le cadre du RGPD et de la loi sur l’IA en Europe
Les systèmes de prise de décision automatisée (PDA) sont utilisés pour remplacer ou soutenir la prise de décision humaine, selon la conception du système et son utilisation. L’objectif est d’améliorer l’exactitude, l’efficacité, la cohérence et l’objectivité des décisions précédemment prises uniquement par des humains. Des exemples incluent les systèmes de recrutement automatisés, les systèmes de triage de la santé, la modération de contenu en ligne et la police prédictive.
Dans les démocraties libérales, les citoyens s’attendent à ce que des décisions importantes dans des domaines tels que l’éducation, les droits sociaux, l’emploi, la santé et la justice soient soumises à des procédures normalisées et à des processus d’appel ouverts à l’examen public. Cela reflète une compréhension fondamentale que les décideurs humains ne sont ni infaillibles ni toujours équitables, mais qu’il est possible de limiter l’impact des faiblesses humaines en établissant des normes permettant d’évaluer l’équité des décisions importantes.
Équité substantielle et procédurale
Comme pour la prise de décision humaine, qui est soumise à un examen public, les dispositions pertinentes du Règlement général sur la protection des données (RGPD) et de la loi sur l’IA visent à sauvegarder l’équité substantielle et procédurale des décisions automatisées. En termes larges, l’équité substantielle implique des considérations telles que la justice distributive, la non-discrimination, la proportionnalité, l’exactitude et la fiabilité, tandis que l’équité procédurale exige (au moins) la transparence, le respect des droits, la cohérence, la supervision humaine et le droit à une explication.
Des exemples récents de systèmes d’IA qui n’ont pas respecté ces exigences incluent des systèmes de détection de fraude sociale à Amsterdam et au Royaume-Uni, des familles à tort signalées pour des enquêtes sur des abus d’enfants au Japon, des résidents à faible revenu privés de subventions alimentaires dans l’État indien du Telangana, et des biais raciaux dans les outils d’IA générative utilisés pour aider à l’embauche.
Droit à l’explication
Étant donné les préoccupations légitimes concernant l’exactitude, la fiabilité, la robustesse et l’équité des PDA, des dispositions sont prévues pour le droit de donner un consentement explicite à être soumis à des décisions automatisées (RGPD art. 22), d’être informé de l’utilisation de la PDA (RGPD art. 13, 14 et 15 et loi sur l’IA art. 26), d’intervention ou de supervision humaine (RGPD art. 22 et loi sur l’IA art. 86), et du droit à une explication (RGPD art. 13, 14 et 15 et loi sur l’IA art. 86).
Dans le RGPD, le droit à l’explication s’applique aux décisions fondées uniquement sur un traitement automatisé qui produisent des effets juridiques ou des effets significatifs similaires concernant une personne physique (art. 22). Le droit à une explication de telles décisions est détaillé dans les articles 13 à 15, qui exigent la fourniture d’informations « significatives sur la logique impliquée, ainsi que sur la signification et les conséquences envisagées d’un tel traitement ».
Dans la loi sur l’IA (art. 86), la formulation pertinente fait référence au « droit d’obtenir du déployeur des explications claires et significatives sur le rôle du système d’IA dans la procédure de prise de décision et les principaux éléments de la décision prise ».
Défis techniques et éthiques
Il existe beaucoup de débats parmi les experts juridiques et politiques sur des questions telles que l’interprétation de l’exigence pour des « informations significatives sur la logique impliquée » dans le RGPD, le type d’explication requis en vertu de la loi sur l’IA, ainsi que les objectifs que ces explications sont censées servir. Ce qui est souvent négligé dans ces débats est la difficulté technique de fournir des explications pour les sorties des modèles utilisés dans les PDA, ainsi que l’inadéquation de déployer des PDA prédictives dans des domaines où l’agence humaine est un facteur.
Pourquoi la prédiction ne suffit pas
Les prédictions des « résultats de vie » sont à la fois peu fiables et éthiquement problématiques. Par « résultats de vie », on entend des phénomènes tels que la probabilité qu’un couple demande le divorce ou le revenu futur d’un individu. Dans tous ces cas, la tentative de prédiction devient un facteur dans le système que nous essayons de prévoir, et la seule façon d’éviter cela est de priver les individus concernés de leur capacité d’agir autrement.
La solution consiste à se concentrer sur la compréhension des facteurs sociaux qui mènent à des résultats de vie, afin que les individus et les agences concernées puissent utiliser cette connaissance pour forger un avenir préférable. Cela constitue un objectif plus approprié pour les sociétés libérales et un meilleur cas d’utilisation pour des modèles d’IA plus précis mais non interprétables.
Ces modèles plus puissants pourraient également être reconfigurés pour soutenir les décideurs humains. Au lieu de laisser les décideurs choisir d’accepter ou de rejeter une prédiction automatisée, des systèmes de soutien automatisés pourraient être conçus pour aider les décideurs humains à devenir plus efficaces et cohérents dans leurs délibérations.
Conclusion
Les implications pour le RGPD, la loi sur l’IA et d’autres réglementations similaires sont que les dispositions conçues pour sauvegarder les PDA devraient limiter les décisions entièrement automatisées à des modèles interprétables, dont la sortie devrait inclure une explication claire de la décision. Les décisions qui touchent aux circonstances où l’agence humaine est un facteur ne devraient pas être automatisées. Faute de quoi, de nombreuses personnes seront injustement ciblées ou privées d’accès à des biens publics sans recours aux mêmes garanties dont se sont traditionnellement prévalues les démocraties libérales.
