Éthique dans l’automatisation : Aborder les biais et la conformité dans l’IA
Alors que les entreprises s’appuient de plus en plus sur les systèmes automatisés, l’éthique est devenue une préoccupation majeure. Les algorithmes façonnent de plus en plus des décisions qui étaient auparavant prises par des humains, impactant des domaines tels que l’emploi, le crédit, les soins de santé et les résultats juridiques. Ce pouvoir exige une responsabilité. Sans règles claires et normes éthiques, l’automatisation peut renforcer l’injustice et causer des préjudices.
Ignorer l’éthique affecte les gens de manière concrète, changeant les degrés de confiance du public. Des systèmes biaisés peuvent refuser des prêts, des emplois ou des soins de santé, et l’automatisation peut accélérer la prise de mauvaises décisions en l’absence de garde-fous. Lorsque les systèmes prennent la mauvaise décision, il est souvent difficile de faire appel ou même de comprendre pourquoi, et le manque de transparence transforme de petites erreurs en problèmes plus importants.
Comprendre le biais dans les systèmes d’IA
Le biais dans l’automatisation provient souvent des données. Si les données historiques incluent de la discrimination, les systèmes formés sur celles-ci peuvent répéter ces schémas. Par exemple, un outil d’IA utilisé pour sélectionner des candidats à un emploi pourrait rejeter des candidats en fonction de leur genre, race ou âge si ses données de formation reflètent ces biais passés. Le biais peut également entrer par le biais de la conception, où les choix concernant quoi mesurer, quels résultats favoriser et comment étiqueter les données peuvent créer des résultats biaisés.
Il existe de nombreux types de biais. Le biais d’échantillonnage se produit lorsqu’un ensemble de données ne représente pas tous les groupes, tandis que le biais de labellisation peut provenir d’une entrée humaine subjective. Même des choix techniques comme les cibles d’optimisation ou le type d’algorithme peuvent fausser les résultats.
Les problèmes ne sont pas seulement théoriques. Amazon a abandonné l’utilisation d’un outil de recrutement en 2018 après qu’il ait favorisé les candidats masculins, et certains systèmes de reconnaissance faciale ont été trouvés pour mal identifier des personnes de couleur à des taux plus élevés que les Caucasiens. De tels problèmes nuisent à la confiance et soulèvent des préoccupations juridiques et sociales.
Une autre préoccupation réelle est le biais de substitution. Même lorsque des traits protégés comme la race ne sont pas utilisés directement, d’autres caractéristiques comme le code postal ou le niveau d’éducation peuvent agir comme des substituts, ce qui signifie que le système peut toujours discriminer même si l’entrée semble neutre, par exemple sur la base de zones plus riches ou plus pauvres. Le biais de substitution est difficile à détecter sans tests rigoureux. La montée des incidents de biais en IA est un signe qu’une attention accrue est nécessaire dans la conception des systèmes.
Répondre aux normes qui comptent
Les lois commencent à rattraper leur retard. La Loi sur l’IA de l’UE, adoptée en 2024, classe les systèmes d’IA par risque. Les systèmes à haut risque, comme ceux utilisés dans le recrutement ou l’évaluation du crédit, doivent répondre à des exigences strictes, y compris la transparence, la surveillance humaine et des vérifications de biais. Aux États-Unis, il n’existe pas de loi unique sur l’IA, mais les régulateurs sont actifs. La Commission pour l’égalité des chances en matière d’emploi (EEOC) avertit les employeurs des risques des outils de recrutement pilotés par l’IA, et la Commission fédérale du commerce (FTC) a également signalé que les systèmes biaisés peuvent violer les lois anti-discrimination.
La Maison Blanche a publié un plan pour une charte des droits de l’IA, offrant des orientations sur l’utilisation sûre et éthique. Bien qu’il ne s’agisse pas d’une loi, il fixe des attentes, couvrant cinq domaines clés : systèmes sûrs, protections contre la discrimination algorithmique, confidentialité des données, notification et explication, et alternatives humaines.
Les entreprises doivent également surveiller les lois des États américains. La Californie a commencé à réguler la prise de décision algorithmique, et l’Illinois exige que les entreprises informent les candidats à l’emploi si l’IA est utilisée dans les entretiens vidéo. Le non-respect de ces lois peut entraîner des amendes et des poursuites judiciaires.
Les régulateurs de la ville de New York exigent désormais des audits pour les systèmes d’IA utilisés dans le recrutement. Les audits doivent montrer si le système produit des résultats équitables pour les groupes de genre et de race, et les employeurs doivent également informer les candidats lorsque l’automatisation est utilisée.
La conformité ne consiste pas seulement à éviter des pénalités – il s’agit également d’établir la confiance. Les entreprises qui peuvent montrer que leurs systèmes sont équitables et responsables sont plus susceptibles de gagner le soutien des utilisateurs et des régulateurs.
Comment construire des systèmes plus équitables
L’éthique dans l’automatisation ne se produit pas par hasard. Cela nécessite une planification, les bons outils et une attention continue. Le biais et l’équité doivent être intégrés dès le départ, et non ajoutés plus tard. Cela implique de définir des objectifs, de choisir les bonnes données et d’inclure les bonnes voix à la table.
Pour bien faire cela, il faut suivre quelques stratégies clés :
Réaliser des évaluations de biais
La première étape pour surmonter le biais est de le trouver. Les évaluations de biais doivent être effectuées tôt et souvent, de la développement à la déploiement, pour garantir que les systèmes ne produisent pas de résultats injustes. Les métriques peuvent inclure les taux d’erreur dans les groupes ou les décisions ayant un impact plus important sur un groupe que sur d’autres.
Les audits de biais devraient être réalisés par des tiers lorsque cela est possible. Les revues internes peuvent manquer des problèmes clés ou manquer d’indépendance, et la transparence des processus d’audit objectifs renforce la confiance du public.
Mettre en œuvre des ensembles de données diversifiés
Des données d’entraînement diversifiées aident à réduire le biais en incluant des échantillons de tous les groupes d’utilisateurs, en particulier ceux souvent exclus. Un assistant vocal formé principalement sur des voix masculines fonctionnera mal pour les femmes, et un modèle de scoring de crédit qui manque de données sur les utilisateurs à faible revenu peut les évaluer incorrectement.
La diversité des données aide également les modèles à s’adapter à l’utilisation dans le monde réel. Les utilisateurs viennent de différents milieux, et les systèmes devraient le refléter. La variété géographique, culturelle et linguistique est également importante.
La diversité des données ne suffit pas à elle seule – elle doit également être précise et bien étiquetée. Le principe « garbage in, garbage out » s’applique toujours, donc les équipes doivent vérifier les erreurs et les lacunes, et les corriger.
Promouvoir l’inclusivité dans la conception
La conception inclusive implique les personnes affectées. Les développeurs devraient consulter les utilisateurs, en particulier ceux à risque de préjudice (ou ceux qui pourraient, en utilisant une IA biaisée, causer du tort), car cela aide à découvrir des angles morts. Cela peut signifier impliquer des groupes de défense, des experts en droits civils ou des communautés locales dans les revues de produits. Cela signifie écouter avant que les systèmes ne soient mis en ligne, pas après que des plaintes aient été déposées.
La conception inclusive signifie également des équipes inter-disciplinaires. Faire appel à des voix provenant de l’éthique, du droit et des sciences sociales peut améliorer la prise de décision, car ces équipes sont plus susceptibles de poser des questions différentes et de repérer des risques.
Les équipes doivent également être diverses. Les personnes ayant des expériences de vie différentes repèrent des problèmes différents, et un système construit par un groupe homogène peut négliger des risques que d’autres pourraient remarquer.
Ce que font bien certaines entreprises
Certaines entreprises et agences prennent des mesures pour aborder le biais en IA et améliorer la conformité.
Entre 2005 et 2019, l’Administration fiscale et douanière néerlandaise a faussement accusé environ 26 000 familles d’avoir frauduleusement demandé des prestations de garde d’enfants. Un algorithme utilisé dans le système de détection de fraude ciblait de manière disproportionnée les familles avec des nationalités doubles et à faibles revenus. Les conséquences ont conduit à un tollé public et à la démission du gouvernement néerlandais en 2021.
LinkedIn a été scruté pour le biais de genre dans ses algorithmes de recommandation d’emploi. Des recherches du MIT et d’autres sources ont révélé que les hommes étaient plus susceptibles d’être associés à des postes de direction mieux rémunérés, en partie en raison de modèles comportementaux dans la façon dont les utilisateurs postulent à des emplois. En réponse, LinkedIn a mis en place un système d’IA secondaire pour garantir un bassin de candidats plus représentatif.
Un autre exemple est la loi sur les outils de décision automatisée pour l’emploi de la ville de New York, qui est entrée en vigueur le 1er janvier 2023, avec une application à partir du 5 juillet 2023. La loi exige que les employeurs et les agences d’emploi utilisant des outils automatisés pour le recrutement ou la promotion effectuent un audit de biais indépendant dans l’année suivant son utilisation, publient un résumé des résultats, et informent les candidats au moins 10 jours ouvrables à l’avance, des règles visant à rendre le recrutement piloté par l’IA plus transparent et équitable.
Aetna, un assureur santé, a lancé un examen interne de ses algorithmes d’approbation des demandes, et a constaté que certains modèles entraînaient des délais plus longs pour les patients à faible revenu. L’entreprise a modifié la manière dont les données étaient pondérées et a ajouté davantage de surveillance pour réduire cet écart.
Ces exemples montrent que le biais en IA peut être abordé, mais cela nécessite des efforts, des objectifs clairs et une forte responsabilité.
Où allons-nous à partir de là
L’automatisation est là pour rester, mais la confiance dans les systèmes dépend de l’équité des résultats et de règles claires. Le biais dans les systèmes d’IA peut causer des préjudices et des risques juridiques, et la conformité n’est pas une case à cocher – c’est une partie essentielle de bien faire les choses.
L’automatisation éthique commence par la sensibilisation. Cela nécessite des données solides, des tests réguliers et une conception inclusive. Les lois peuvent aider, mais le changement réel dépend également de la culture d’entreprise et du leadership.
