Quelles sont les caractéristiques essentielles pour favoriser la transparence dans le contexte des ensembles de données d’IA ?
La volonté de transparence dans les modèles d’apprentissage automatique et les ensembles de données prend de l’ampleur, alimentée par une attention accrue du monde universitaire et de l’industrie. Les organismes de réglementation du monde entier font également pression pour une plus grande transparence. Cependant, les tentatives de mise en œuvre de mécanismes normalisés, pratiques et durables se heurtent souvent à des limites en raison de la diversité des objectifs, des flux de travail et des antécédents des parties prenantes impliquées dans le cycle de vie de l’IA.
L’utilisation d’outils tels que les « cartes de données », des résumés structurés qui mettent en évidence les faits essentiels concernant les ensembles de données ML, est essentielle pour favoriser la transparence des ensembles de données. Ces cartes fournissent des explications claires des processus et des justifications qui façonnent les données et influencent les résultats du modèle : des informations qui ne sont souvent pas directement déductibles de l’ensemble de données lui-même. Elles complètent les documentations plus longues telles que les cartes de modèle et les déclarations de données.
Les cartes de données contribuent à établir un consensus de plusieurs manières :
- Elles sont conçues comme des « objets frontières », facilement découvrables et accessibles aux points de décision clés du parcours de l’utilisateur.
- Elles encouragent des décisions éclairées concernant l’utilisation des données dans la construction, l’évaluation, la politique et la recherche de modèles.
Le processus de création des cartes de données peut lui-même être transformateur, en identifiant les possibilités d’amélioration de la conception des ensembles de données. Par exemple, les créateurs de cartes de données peuvent découvrir des informations surprenantes, telles que la nécessité d’enquêter sur les raisons d’un pourcentage élevé de valeurs inconnues ou d’établir des compréhensions partagées des lexiques utilisés dans l’étiquetage des ensembles de données.
Principales caractéristiques de la transparence (adaptées du tableau 1 du document source) :
Plusieurs caractéristiques améliorent considérablement la transparence lorsqu’elles sont appliquées aux ensembles de données d’IA :
- Équilibrer les opposés : divulguer des informations sans créer de vulnérabilités excessives. Rendre compte des analyses d’équité de manière responsable, en évitant de légitimer les systèmes inéquitables. Concevoir des normes qui soient plus que de simples listes de contrôle.
- Augmentation des attentes : reconnaître que toutes les informations divulguées feront l’objet d’un examen plus approfondi.
- Disponibilité et confort : fournir des informations sur la transparence à plusieurs niveaux, même si elles ne sont pas immédiatement nécessaires.
- Nécessite des freins et contrepoids : s’assurer que les artefacts peuvent être évalués par des tiers, tout en se prémunissant contre une transparence excessive qui pourrait inviter à des attaques adverses.
- Interprétations subjectives : reconnaître et traiter le fait que les différentes parties prenantes ont des interprétations différentes de la transparence.
- Mise en place de la confiance : activer les informations qui favorisent la confiance des consommateurs de données grâce aux avantages des données, des algorithmes et des produits.
- Réduire les asymétries de connaissances : faciliter la collaboration interdisciplinaire avec un vocabulaire permettant de décrire les attributs du système d’IA.
- Reflète les valeurs humaines : intégrer des informations techniques et non techniques sur les hypothèses, les faits et les alternatives possibles.
Fondamentalement, la transparence est atteinte lorsqu’il existe une compréhension commune des ensembles de données, basée sur la capacité de poser des questions et d’y répondre au fil du temps. Les cartes de données doivent faciliter une explication claire et facilement compréhensible de ce qu’est un ensemble de données, de ce qu’il fait et pourquoi.
Typologie des parties prenantes
Pour maximiser l’efficacité des cartes de données, il est essentiel de reconnaître les divers rôles des parties prenantes tout au long du cycle de vie des données :
- Producteurs : les créateurs en amont ou originaux des ensembles de données sont responsables de la collecte, du lancement et de la maintenance.
- Agents : ceux qui lisent les rapports de transparence et utilisent l’ensemble de données ou déterminent son utilisation par d’autres.
- Utilisateurs : comprennent les personnes et les représentants qui interagissent avec les produits s’appuyant sur des modèles entraînés sur l’ensemble de données, dont les données peuvent être intégrées et qui peuvent ne pas avoir d’expertise technique.
Les cartes de données les plus utiles et les plus pertinentes fournissent des informations suffisantes adaptées à chaque groupe de parties prenantes, en répondant à leurs préoccupations et à leurs niveaux d’expertise spécifiques.
Comment la méthodologie de développement contribue-t-elle à la création et à l’évaluation des Cartes de Données ?
Les Cartes de Données sont des résumés structurés qui capturent les détails essentiels sur les ensembles de données d’apprentissage automatique. Elles sont utilisées par les parties prenantes tout au long du cycle de vie de l’ensemble de données pour garantir un développement responsable de l’IA. Voici comment la méthodologie de développement contribue à leur création et à leur évaluation :
Méthodologie de développement à plusieurs volets
Une approche de conception centrée sur l’humain, empruntant à la conception participative et à l’interaction homme-machine, est essentielle au développement des Cartes de Données. Travailler de manière itérative avec les équipes d’ensembles de données ML aide à affiner les décisions de conception pour répondre aux défis de production du monde réel.
- Approche de co-création : Travailler directement avec les propriétaires de modèles et d’ensembles de données ML pour créer des prototypes garantit des améliorations continues en termes de convivialité et d’utilité.
- Groupes de discussion externes : L’évaluation des ébauches avec des parties prenantes externes — y compris des chercheurs en UX, en interaction homme-machine, des décideurs politiques, des concepteurs de produits, des universitaires et des experts juridiques — établit des définitions de travail et des valeurs de transparence, guidant la création des Cartes de Données.
Normalisation et cadres génératifs
Un modèle canonique avec des questions récurrentes est conçu pour capturer 31 aspects différents des ensembles de données ; des questions spécifiques à la modalité sont ajoutées sous forme de blocs appendables. L’objectif est de permettre aux créateurs de cartes de données d’adapter les questions à de nouveaux ensembles de données sans compromettre la lisibilité, la navigabilité, la comparabilité et la transparence.
Ateliers participatifs
Des ateliers participatifs structurés engagent des parties prenantes interfonctionnelles pour créer des schémas de métadonnées transparents pour la documentation des ensembles de données. Ces ateliers aident les équipes à s’aligner sur une définition partagée de la transparence, de l’audience et des exigences de l’audience.
Facteurs clés ayant un impact sur la mise en œuvre à grande échelle des Cartes de Données :
- Asymétries de connaissances : Résoudre les différences de compréhension entre les parties prenantes.
- Processus organisationnels : Inciter à la création et à la maintenance de la documentation.
- Compatibilité de l’infrastructure : Garantir la préparation à l’intégration des Cartes de Données.
- Culture de la communication : Favoriser une communication efficace entre les groupes de parties prenantes.
Cadre OFTEn
Le Cadre OFTEn fournit aux producteurs d’ensembles de données une approche délibérée et reproductible pour produire une documentation transparente. OFTEn considère les étapes courantes du cycle de vie des ensembles de données. Les questions qu’il pose peuvent être appliquées inductivement et déductivement pour des enquêtes détaillées sur la transparence des ensembles de données. Les étapes sont :
- Origines : Définir les exigences, les décisions de conception, les méthodes de collecte ou de sourcing et décider des politiques
- Faits : Attributs statistiques qui décrivent l’ensemble de données.
- Transformations : Opérations qui convertissent les données brutes en formats utilisables.
- Expérience : Évaluation comparative de l’ensemble de données en pratique, y compris les cas d’utilisation.
- n=1 (exemples) : Fournir des points de données pertinents pour les parties prenantes de différents rôles.
Assurer la qualité des Cartes de Données
Les erreurs dans les Cartes de Données peuvent se propager lorsqu’elles sont dupliquées et modifiées, entraînant une fragmentation et des inexactitudes. Pour éviter cela, un processus d’examen impliquant des experts est crucial.
- Examinateurs experts : Attribuer des examinateurs ayant une expertise en matière de données, de convivialité et de domaine de l’ensemble de données aide à garantir la qualité.
- Dimensions pour l’évaluation : Utiliser des dimensions telles que la responsabilité, l’utilité, la qualité, l’impact et le risque fournit une approche structurée pour évaluer la rigueur des Cartes de Données.
Dimensions pour l’évaluation
Les Dimensions suivantes sont des vecteurs directeurs et pédagogiques qui décrivent l’utilité de la Carte de Données pour l’agent qui l’examine.
- Responsabilité : Preuve de propriété et de prise de décision systématique par les producteurs.
- Utilité ou Utilisation : Détails pour satisfaire une prise de décision responsable.
- Qualité : Rigueur, intégrité et exhaustivité de l’ensemble de données.
- Impact ou Conséquences de l’utilisation : Attentes concernant les résultats lors de la gestion des ensembles de données.
- Risque et Recommandations : Connaissance des risques et des limitations.
Principale conclusion
La création de Cartes de Données est améliorée par diverses méthodes et processus. Du développement des cartes de données avec les membres de l’équipe, au cadre OFTEn, à la pose de questions cohérentes, aux ateliers participatifs et aux dimensions pour l’examen. Ces méthodes augmentent la validité, la fiabilité, la responsabilité, l’utilité et la qualité globale des Cartes de Données.
Quelles stratégies de contenu et d’organisation sont utilisées pour structurer et garantir l’utilité des Data Cards ?
Les Data Cards visent à promouvoir la transparence et le développement responsable de l’IA en fournissant des résumés structurés des faits essentiels concernant les ensembles de données d’apprentissage automatique. Elles documentent divers aspects du cycle de vie d’un ensemble de données, notamment :
- Sources en amont
- Méthodes de collecte et d’annotation des données
- Méthodes d’apprentissage et d’évaluation
- Cas d’utilisation prévus
- Décisions affectant les performances du modèle
La conception vise à garantir que les Data Cards soient facilement découvertes et accessibles à un public diversifié. Les principales stratégies d’organisation comprennent :
Cadre OFTEn
Le cadre OFTEn structure la documentation de l’ensemble de données tout au long de son cycle de vie, en tenant compte des éléments suivants :
- Origines : Activités de planification, considérations éthiques et définitions des exigences.
- Faits : Attributs statistiques, écarts par rapport aux plans initiaux et analyse initiale des données.
- Transformations : Filtrage, validation, analyse et traitement des données brutes.
- Expérience : Analyse comparative, déploiement dans des environnements expérimentaux ou de production et analyses spécifiques aux tâches.
- N=1 (exemples) : Exemples de points de données transformés, y compris les cas extrêmes et les extraits de code.
Cadre de questions socratiques : Étendues
Un cadre de questionnement utilise différentes granularités pour la présentation des informations. Le cadre utilise des télescopes, des périscopes et des microscopes comme une approche novatrice pour amener les utilisateurs à adopter l’éthique de l’IA et de l’apprentissage automatique.
- Télescopes : Aperçus de haut niveau pour établir le contexte.
- Périscopes : Informations techniques et opérationnelles spécifiques à l’ensemble de données.
- Microscopes : Détails précis sur les processus humains, les décisions et les hypothèses qui façonnent l’ensemble de données.
Cette approche en couches vise à s’adapter aux utilisateurs ayant différents niveaux d’expertise, en leur permettant d’explorer progressivement le contenu.
Conception et structure
L’unité fondamentale d’une Data Card est un bloc, qui est composé des éléments suivants :
- Un titre
- Une question
- Un espace pour des instructions ou des descriptions supplémentaires
- Un espace de saisie pour les réponses
La conception structure la Data Card à l’aide de blocs disposés thématiquement et hiérarchiquement sur une grille pour permettre une présentation de l’ensemble de données du type « vue d’ensemble d’abord, zoom et filtre, détails à la demande ».
Évaluation
Pour évaluer la qualité des Data Cards, les organisations peuvent utiliser un ensemble de dimensions ou de vecteurs directionnels et pédagogiques qui décrivent son utilité. Elles comprennent :
- Responsabilité
- Utilité ou Use.
- Qualité
- Impact ou conséquences de l’utilisation
- Risques et recommandations
Quels enseignements ont été tirés de l’application pratique en matière de documentation responsable des ensembles de données d’IA ?
Les cartes de données, des résumés structurés des faits essentiels concernant les ensembles de données, s’avèrent être un outil précieux pour le développement d’une IA responsable, tant dans l’industrie que dans la recherche. L’application pratique a mis en lumière plusieurs enseignements clés, notamment en ce qui concerne la transparence, l’engagement des parties prenantes et l’impact organisationnel.
Transparence et explicabilité
La transparence et l’explicabilité des résultats des modèles à travers le prisme des ensembles de données sont devenues une préoccupation réglementaire importante au niveau international. Les cartes de données y répondent en fournissant des explications claires et accessibles sur les origines, le développement et l’utilisation prévue d’un ensemble de données, des domaines souvent opaques pour les parties prenantes non techniques. Utilisation d’explications en langage clair de ce qu’est quelque chose, ce qu’il fait et pourquoi il le fait.
Engagement des parties prenantes et asymétries de connaissances
- Diverses parties prenantes : les cartes de données comblent le fossé entre les producteurs et les consommateurs de données, y compris les examinateurs non experts, les analystes politiques et les concepteurs de produits.
- Réduction des asymétries de connaissances : création d’un modèle mental et d’un vocabulaire communs qui aident les parties prenantes multidisciplinaires, ce qui conduit à une prise de décision plus éclairée et équitable.
- Collaboration : les applications pratiques ont montré que le processus de création de cartes de données favorise la collaboration et révèle des possibilités imprévues d’amélioration des ensembles de données. Par exemple, une équipe a découvert des raisons inattendues d’un pourcentage élevé de valeurs inconnues dans son ensemble de données, ce qui a incité à un examen plus approfondi et, en fin de compte, à une amélioration de la qualité des données.
Principales caractéristiques du cadre
Les cartes de données doivent être :
- Cohérentes : les cartes de données doivent être comparables entre différents ensembles de données afin de garantir que les affirmations sont faciles à interpréter et à valider.
- Complètes : la création de cartes de données doit avoir lieu en même temps que le développement de l’ensemble de données, et les responsabilités doivent être réparties équitablement entre les membres de l’équipe.
- Intelligibles et concises : les cartes de données doivent s’adresser à des lecteurs ayant différents niveaux d’expertise, en communiquant efficacement les informations sans les submerger et en encourageant une compréhension commune.
- Explicables et honnêtes au sujet de l’incertitude : les participants à l’étude apprécient les renseignements sur ce qui n’est pas connu. Cela renforce la confiance, et l’incertitude peut conduire à l’atténuation des conséquences imprévues.
Implications organisationnelles
La mise à l’échelle de l’adoption des cartes de données nécessite un examen attentif des facteurs organisationnels :
- Incitation à la documentation : les processus organisationnels doivent inciter à la création et à la maintenance des cartes de données.
- Compatibilité de l’infrastructure : une intégration transparente aux pipelines de données et de modèles existants est essentielle pour maintenir les cartes de données à jour et pertinentes.
- Automatiser avec discernement : automatiser pour garantir l’exactitude, mais éviter d’automatiser les champs libres pour les justifications et les hypothèses.
- Culture de communication : la culture de communication d’une organisation entre les groupes de parties prenantes peut avoir un impact sur la durabilité à long terme des cartes de données.
Caractéristiques de la transparence
- Facilitateur de confiance : des informations accessibles et pertinentes augmentent la volonté de prendre des risques en fonction des attentes de bénéfices.
- Reflète les valeurs humaines : divulgation d’hypothèses, de faits et d’alternatives d’un point de vue tant technique que non technique.
- Nécessite des freins et contrepoids : la création doit se prêter à une évaluation par un tiers.
