Cartões de Dados: Documentando Dados para uma IA Transparente e Responsável

Como foi estabelecida a metodologia de desenvolvimento para Data Cards?

A metodologia de desenvolvimento para Data Cards surgiu de um processo iterativo de 24 meses, baseado em design centrado no ser humano, design participativo e métodos de interação humano-computador.

As principais etapas do processo de desenvolvimento incluíram:

• Colaborar com equipes de conjuntos de dados e ML dentro de uma grande empresa de tecnologia para criar e refinar Data Cards. Isso envolveu trabalhar com 12 equipes para produzir 22 Data Cards em várias modalidades de dados (imagem, linguagem, tabular, vídeo, áudio e relacional).
• Observar os fluxos de trabalho de documentação das equipes, coleta colaborativa de informações, solicitações de informações de stakeholders e processos de revisão.
• Avaliar rascunhos de Data Card em grupos focais externos com diversos participantes (UX, pesquisa HCI, política, design de produto, academia, direito) para identificar uma definição de trabalho e valores de transparência.
• Consolidar perguntas recorrentes em um modelo canônico documentando 31 aspectos diferentes de conjuntos de dados, com perguntas específicas da modalidade como blocos anexáveis.
• Conduzir uma pesquisa MaxDiff (n=191) para entender a importância relativa dos temas documentados e como eles variam por modalidade de dados e função de trabalho.
• Recrutar 30 especialistas dentro da empresa para participar de atividades que capturaram seus casos de uso, requisitos de informação e estratégias de avaliação para artefatos de transparência.
• Desenvolver uma abordagem estruturada baseada em workshops participativos, posteriormente de código aberto, para envolver stakeholders multifuncionais na criação de esquemas de metadados transparentes.

Principais insights que moldaram o desenvolvimento do Data Card:

• Opacidade da Documentação: Os participantes perceberam que os artefatos de transparência existentes eram frequentemente muito técnicos, densos e presumidos para stakeholders não técnicos.
• Subjetividade da Transparência: A transparência foi vista como subjetiva, específica para o público e contextual.
• Necessidade de Entendimento Compartilhado: Os stakeholders precisam de um modelo mental e vocabulário compartilhados para descrever o sistema de forma eficaz.

Tipologia de Stakeholders

A iniciativa identificou três grupos de stakeholders primários no ciclo de vida de um conjunto de dados:

• Produtores: Criadores upstream do conjunto de dados e documentação, responsáveis pela coleta, propriedade, lançamento e manutenção.
• Agentes: Stakeholders que leem relatórios de transparência e têm a agência para determinar como os conjuntos de dados são usados (incluindo revisores e especialistas em área não técnicos).
• Usuários: Indivíduos que interagem com produtos que dependem de modelos treinados no conjunto de dados (exigindo explicações separadas, mais integradas ao produto).

Objetivos para Data Cards

Com base na análise de stakeholders e estudos de usabilidade, vários objetivos foram definidos para Data Cards:

• Consistente: Garantir a comparabilidade entre diferentes modalidades e domínios de dados, permitindo fácil interpretação e validação.
• Abrangente: Integrar a criação de Data Card no ciclo de vida do conjunto de dados, distribuindo a responsabilidade entre os indivíduos apropriados.
• Inteligível e Conciso: Comunicar-se eficazmente com leitores com diferentes níveis de proficiência, evitando sobrecarga de informações.
• Explicabilidade, Incerteza: Comunicar os aspectos conhecidos e desconhecidos do conjunto de dados, construindo confiança por meio da transparência sobre as incertezas.

Framework OFTEn

O framework OFTEn foi introduzido como uma ferramenta conceitual para considerar logicamente como um tópico (por exemplo, consentimento) permeia todas as partes de um Data Card e suas fases.

• Origens
• Fatos
• Transformações
• Experiência
• n=1 exemplo

Este framework pode ser usado indutivamente (formulando perguntas) e dedutivamente (avaliando a representação). Em última análise, o objetivo era facilitar preventivamente a descoberta de insights e garantir a qualidade dos dados e processos de baixa barreira.

Quais são os principais objetivos que os Data Cards visam cumprir?

Os Data Cards são projetados com vários objetivos principais em mente, especialmente reduzir lacunas de conhecimento e fomentar a transparência entre as diferentes partes interessadas.

Objetivos Principais dos Data Cards:

• Consistência: Os Data Cards são projetados para serem comparáveis entre vários conjuntos de dados, independentemente de sua modalidade ou domínio. Isso garante que as alegações contidas neles sejam facilmente interpretáveis e verificáveis dentro do contexto de seu uso.

• Abrangência: Esses cards devem idealmente ser criados junto com o próprio conjunto de dados, e não como uma reflexão tardia. A responsabilidade pelo preenchimento de diferentes seções deve ser distribuída às pessoas mais adequadas ao longo do ciclo de vida do conjunto de dados. O objetivo é um método padronizado que se estenda além do Data Card, abrangendo vários relatórios relacionados.

• Inteligibilidade e Concisão: Os Data Cards devem atender a leitores com diferentes níveis de proficiência. As informações apresentadas devem ser facilmente compreendidas por aqueles com menos experiência, ao mesmo tempo que permitem que usuários mais proficientes acessem detalhes adicionais conforme necessário. Esse equilíbrio garante que o conteúdo avance a deliberação do leitor sem sobrecarregá-lo, levando à cooperação das partes interessadas na formação de uma compreensão compartilhada do conjunto de dados.

• Explicabilidade da Incerteza: Destacar o que *não* é conhecido sobre um conjunto de dados é tão crucial quanto documentar as facetas conhecidas. Descrições claras e justificativas para a incerteza permitem medidas adicionais para mitigar riscos, levando assim a modelos mais justos e equitativos. A comunicação transparente da incerteza gera maior confiança nos dados e em seus editores.

Em resumo, os Data Cards estabelecem um equilíbrio para fornecer informações valiosas e acionáveis, ao mesmo tempo que reconhecem honestamente as limitações e incertezas. Isso apoia uma tomada de decisão mais informada e promove práticas responsáveis de IA.

portuguese

Quais são os princípios fundamentais que orientam o design de Data Cards?

Data Cards são resumos estruturados cruciais para o desenvolvimento responsável de IA, projetados para fornecer aos stakeholders informações essenciais sobre conjuntos de dados de ML ao longo de seu ciclo de vida. Esses resumos oferecem informações sobre os processos e fundamentos que influenciam os dados, incluindo suas origens, métodos de coleta, abordagens de treinamento/avaliação, uso pretendido e decisões que afetam o desempenho do modelo.

Vários princípios orientadores garantem que os Data Cards sejam eficazes e adaptáveis:

• Flexibilidade: Eles devem acomodar uma ampla gama de conjuntos de dados, sejam eles dinâmicos ou estáticos, selecionados de fontes únicas ou múltiplas, e lidar com várias modalidades.
• Modular: A documentação é organizada em unidades autocontidas e repetíveis, cada uma fornecendo uma descrição completa de um aspecto específico do conjunto de dados.
• Extensível: Os componentes são facilmente reconfigurados ou estendidos para novos conjuntos de dados, análises e plataformas.
• Acessível: O conteúdo é apresentado em múltiplas granularidades, permitindo que os usuários localizem e naveguem eficientemente em descrições detalhadas do conjunto de dados.
• Agnóstico de conteúdo: Eles suportam diversos tipos de mídia, incluindo seleções de múltipla escolha, entradas de formato longo, texto, visualizações, imagens, blocos de código, tabelas e elementos interativos.

Para promover a acessibilidade e facilitar a exploração progressiva de conteúdo, os Data Cards aproveitam uma estrutura de perguntas socráticas chamada SCOPES, que envolve:

• Telescópios: Fornecer uma visão geral dos atributos universais do conjunto de dados aplicáveis em vários conjuntos de dados.
• Periscópios: Oferecer maior detalhe técnico específico do conjunto de dados, adicionando nuances aos telescópios e fornecendo informações operacionais.
• Microscópios: Apresentar detalhes refinados sobre os processos humanos não observáveis, decisões, suposições e políticas que moldam o conjunto de dados.

A estrutura OFTEn também é usada como uma ferramenta para considerar logicamente um tópico em todas as partes de um Data Card:

• Origins (Origens): Atividades de planejamento, definição de requisitos, decisões de design, métodos de coleta/fornecimento e políticas.
• Factuals (Fatos): Atributos estatísticos que descrevem o conjunto de dados, desvios do plano original e qualquer análise de pré-tratamento.
• Transformations (Transformações): Operações que transformam dados brutos em uma forma utilizável, incluindo políticas de rotulagem e engenharia de recursos.
• Experience (Experiência): Benchmarking, implantação, tarefas específicas, análises de treinamento e comparações com conjuntos de dados semelhantes.
• N=1 (exemplos): Exemplos transformados no conjunto de dados, incluindo exemplos típicos, outliers e exemplos que geram erros.

Objetivos Principais para Data Cards

Estudos de usabilidade destilaram vários objetivos para a adoção bem-sucedida de Data Cards:

• Consistente: Os Data Cards devem ser comparáveis entre modalidades e domínios, garantindo que as alegações sejam fáceis de interpretar e validar.
• Abrangente: A criação deve ocorrer simultaneamente com o ciclo de vida do conjunto de dados, com responsabilidades distribuídas entre os indivíduos apropriados.
• Inteligível e Conciso: A comunicação deve ser eficaz para leitores com diferentes níveis de proficiência, incentivando a cooperação e um entendimento compartilhado.
• Explicabilidade e Incerteza: Comunicar a incerteza é crucial, construindo confiança e permitindo a mitigação de riscos para modelos mais justos e equitativos.

Características de Transparência

A transparência nos Data Cards é caracterizada por:

• Equilibrar a divulgação sem vulnerabilidade indevida para os criadores.
• Aumento do escrutínio das informações incluídas.
• Disponibilidade em vários níveis, mesmo que nem sempre seja necessária.
• Amenidade à avaliação de terceiros.
• Interpretações subjetivas entre os stakeholders.
• Permitir a confiança entre os consumidores e usuários de dados.
• Redução das assimetrias de conhecimento.
• Refletir os valores humanos através de divulgações técnicas e não técnicas.

Tipologia de Stakeholders

Normalmente, existem três grupos principais de stakeholders:

• Produtores: Criadores upstream do conjunto de dados e sua documentação.
• Agentes: Stakeholders que leem os relatórios de transparência.
• Usuários: Indivíduos que interagem com produtos que dependem de modelos treinados no conjunto de dados.

Dimensões de Avaliação

Os Data Cards devem ser avaliados nas seguintes dimensões:

• Accountability (Responsabilidade): Demonstra propriedade, raciocínio, reflexão e tomada de decisão sistemática.

• Utility or Use (Utilidade ou Uso): Fornece detalhes que satisfazem as necessidades da tomada de decisão responsável dos leitores para estabelecer a adequação dos conjuntos de dados para suas tarefas e objetivos.

• Quality (Qualidade): Resume o rigor, a integridade e a integridade do conjunto de dados.

• Impact or Consequences of Use (Impacto ou Consequências do Uso): Define expectativas para resultados positivos e negativos, bem como consequências subsequentes.

• Risk and Recommendations (Risco e Recomendações): Alerta os leitores sobre potenciais riscos e limitações conhecidos.

Como a estrutura de perguntas socráticas é aplicada nos Data Cards e por que isso é importante?

Os Data Cards utilizam uma estrutura de perguntas socráticas estruturada para garantir a acessibilidade e permitir que usuários com diferentes níveis de especialização explorem o conteúdo do conjunto de dados progressivamente. A estrutura aborda desafios comuns na adaptação de modelos de Data Card para novos conjuntos de dados, organizando as perguntas em três granularidades:

• Telescópios: Estas perguntas fornecem uma visão geral de alto nível aplicável a vários conjuntos de dados. Por exemplo, “Este conjunto de dados contém Atributos Humanos Sensíveis?” Os telescópios apoiam a gestão do conhecimento, gerando enumerações e tags, definindo o contexto para mais informações e agilizando o processo de preenchimento do Data Card por meio de lógica condicional.
• Periscópios: Estes aprofundam-se nos atributos específicos do conjunto de dados, adicionando nuances aos telescópios. Um exemplo inclui: “Para cada atributo humano selecionado, especifique se esta informação foi coletada intencionalmente como parte do processo de criação do conjunto de dados ou não intencionalmente.” Os periscópios frequentemente solicitam detalhes operacionais, como forma, tamanho, fontes e intenções do conjunto de dados, frequentemente utilizando a automação para resumos estatísticos e metadados precisos.
• Microscópios: Estes examinam os elementos humanos “não observáveis” — decisões, suposições e políticas — que moldam o conjunto de dados. Um exemplo é: “Descreva brevemente a motivação, a lógica, as considerações ou abordagens que fizeram com que este conjunto de dados incluísse os atributos humanos indicados. Resuma por que ou como isso pode afetar o uso do conjunto de dados.” Estas perguntas solicitam explicações e resumos detalhados dos processos, muitas vezes exigindo texto longo, listas, tabelas de dados e visualizações.

A presença e o equilíbrio desses níveis de abstração influenciam significativamente a interpretação do Data Card. Embora as perguntas telescópicas sejam mais fáceis de responder, sua utilidade é limitada. As perguntas periscópicas facilitam avaliações rápidas de adequação, enquanto responder a perguntas microscópicas é crucial, mas mais desafiador para articular o conhecimento implícito. Juntas, essas camadas permitem que os leitores naveguem por detalhes granulares sem perder o contexto geral.

A importância dessa estrutura socrática reside em sua capacidade de promover uma compreensão compartilhada dos conjuntos de dados. Esta abordagem garante a melhoria contínua na criação de conjuntos de dados, promovendo modelos mais justos e equitativos, ao mesmo tempo que aumenta a confiança. À medida que as partes interessadas se envolvem progressivamente com os Data Cards, o objetivo é uma explicação clara e facilmente compreensível do que um conjunto de dados *é*, o que ele *faz* e *por que* ele opera da maneira que opera — crucial para o desenvolvimento responsável de IA e tomada de decisões informadas entre diversas equipes.

Como o framework OFTEn pode ser usado para desenvolver e avaliar Data Cards?

O Framework OFTEn é fundamental para criar Data Cards robustos e transparentes para conjuntos de dados de IA. Ele fornece uma maneira estruturada de considerar como vários tópicos permeiam todas as etapas do ciclo de vida de um Data Card. OFTEn, que significa Origins (Origens), Factuals (Fatos), Transformations (Transformações), Experience (Experiência) e n=1 example (exemplo n=1), pode ser aplicado indutivamente e dedutivamente para garantir a transparência na documentação do conjunto de dados.

Compreendendo os Estágios do OFTEn

• Origins (Origens): Concentra-se em atividades de planejamento, decisões de design, métodos de coleta e políticas que ditam os resultados do conjunto de dados. Os temas principais incluem autoria, motivações, aplicações pretendidas e licenciamento.
• Factuals (Fatos): Centra-se em atributos estatísticos que descrevem o conjunto de dados e quaisquer desvios do plano original, incluindo a análise pré-wrangling. Os temas aqui abrangem o número de instâncias, recursos, rótulos e descrições dos recursos.
• Transformations (Transformações): Abrange operações como filtragem, validação, análise, formatação e limpeza de dados brutos, incluindo políticas de rotulagem ou anotação e engenharia de recursos.
• Experience (Experiência): Analisa como o conjunto de dados é comparado ou implantado em ambientes experimentais, de produção ou de pesquisa. Os temas aqui incluem desempenho pretendido, desempenho inesperado, ressalvas e casos de uso estendidos.
• N=1 (exemplos): Fornece exemplos concretos e conjuntos de dados transformados, incluindo casos típicos ou atípicos, e links para artefatos relevantes. Esta etapa se concentra em fornecer ilustrações práticas para complementar as descrições mais abstratas nas outras etapas.

Aplicação Indutiva: OFTEn facilita atividades com agentes para formular questões sobre conjuntos de dados e modelos relevantes para a tomada de decisões. Pode ser visualizado como uma matriz com linhas representando o ciclo de vida do conjunto de dados e colunas solicitando o enquadramento de perguntas (“quem, o quê, quando, onde, por que e como”) sobre um tópico ao longo do ciclo de vida.

Aplicação Dedutiva: OFTEn ajuda a avaliar se um Data Card representa com precisão o conjunto de dados. Usar o framework resulta em efeitos formativos tanto na documentação quanto no próprio conjunto de dados.

Data Cards que refletem claramente uma estrutura OFTEn subjacente também são mais fáceis de expandir e atualizar, capturando informações ao longo do tempo, como feedback de agentes downstream, diferenças entre versões e auditorias. Por exemplo, ao considerar o consentimento de dados, OFTEn ajuda a gerar questões críticas ao longo do ciclo de vida do conjunto de dados:

• Quem foi responsável por definir os termos de consentimento?
• Quais manipulações dos dados são permitidas sob o consentimento dado?
• Quando o consentimento pode ser revogado?
• Onde os termos de consentimento são aplicáveis?
• Por que termos específicos de consentimento foram escolhidos?

Ao responder a essas perguntas nas etapas de Origins (Origens), Factuals (Fatos), Transformations (Transformações), Experience (Experiência) e n=1 example (exemplo n=1), os administradores de dados podem descobrir preventivamente insights para uma melhor criação de conjuntos de dados.

Qual era o objetivo de criar um Data Card para um conjunto de dados de tradução de idiomas geograficamente diverso?

O principal objetivo era abordar vieses e suposições em modelos de tradução de idiomas relacionados à diversidade geográfica. Uma equipe descobriu que certos modelos estavam associando nomes a gêneros específicos, e conjuntos de dados de treinamento anteriores careciam de representação suficiente de nomes de diversas geografias. O Data Card foi criado para:

• Comunicar o escopo limitado da diversidade geográfica alcançada no conjunto de dados.
• Abordar como o gênero foi inferido a partir de descrições de entidades, reconhecendo potenciais problemas com essa abordagem.
• Prevenir o uso inadequado do conjunto de dados, destacando suas limitações.

Em essência, o Data Card serviu como um mecanismo de transparência para informar os usuários sobre as escolhas de design do conjunto de dados, potenciais vieses e diretrizes de uso seguro, mesmo para usuários sem profundo conhecimento técnico.

Implicações Regulatórias e de Conformidade

Embora não seja explicitamente exigido, o Data Card abordou implicitamente potenciais preocupações regulatórias em torno de justiça e viés, que estão sendo cada vez mais examinadas sob estruturas emergentes de governança de IA. Ao documentar as limitações e potenciais vieses do conjunto de dados, a equipe visava cumprir o *espírito* das regulamentações de justiça, garantindo que os usuários estivessem cientes de potenciais resultados discriminatórios e pudessem tomar medidas de mitigação.

Benefícios Práticos e Lições Aprendidas

O próprio processo de criação ofereceu insights valiosos muito além da conformidade:

• Comunicação Aprimorada: O Data Card facilitou discussões mais claras com as partes interessadas, permitindo um entendimento compartilhado das limitações e suposições do conjunto de dados.
• Design de Conjunto de Dados Aprimorado: O processo levou a equipe a reavaliar suas decisões de design, levando a um conjunto de dados mais fundamentado e intencional.
• Ciclo de Feedback Antecipado: O feedback das partes interessadas durante o processo de criação do Data Card revelou problemas que, idealmente, deveriam ter sido abordados durante o design inicial do conjunto de dados. A experiência enfatizou a importância de integrar a criação do Data Card *precocemente* no ciclo de vida do conjunto de dados.

O Data Card serviu não apenas como documentação, mas como uma ferramenta para auto-reflexão crítica e colaboração aprimorada, levando, em última análise, a um processo de desenvolvimento de IA mais responsável.

Quais são algumas das experiências e resultados observados nos estudos de caso envolvendo Data Cards?

Data Cards estão emergindo como uma ferramenta crítica para promover a transparência e a responsabilidade no desenvolvimento de IA. Estudos de caso revelam uma variedade de experiências e resultados, destacando tanto seu potencial quanto os desafios em sua implementação.

Principais Insights de Estudos de Caso

• Transparência Aprimorada: Data Cards fornecem um resumo estruturado de fatos essenciais do conjunto de dados, o que é vital para a tomada de decisões informadas ao longo do ciclo de vida de um conjunto de dados. Eles explicam os processos e fundamentos que moldam os dados e, consequentemente, os modelos treinados neles.
• Design de Conjunto de Dados Aprimorado: A criação de Data Cards levou as equipes a reconsiderar as decisões de design, resultando em conjuntos de dados mais fundamentados e intencionais. Por exemplo, o exercício revelou a necessidade de uma compreensão mais clara dos léxicos de rotulagem dentro das equipes.
• Comunicação Facilitada: Data Cards permitiram discussões mais claras entre as partes interessadas com diferentes níveis de conhecimento técnico. O acordo sobre definições, como ‘gênero percebido’, tornou-se mais simplificado.
• Feedback Antecipado sobre Práticas de IA Responsável: Data Cards facilitam o feedback antecipado de especialistas e não especialistas, influenciando o design e as análises de dados.

Preocupações Regulatórias e Implicações Práticas

As preocupações com a transparência no aprendizado de máquina estão influenciando o escrutínio regulatório. Data Cards oferecem um mecanismo padronizado e prático para a transparência, mas sua criação precisa de um planejamento cuidadoso:

• Implementação Proativa: Estudos de caso demonstraram que a criação de Data Cards como etapa final aumentou a carga de trabalho percebida. A integração de sua criação ao processo de desenvolvimento do conjunto de dados aumentou a relevância e a legibilidade.
• Vocabulário de Incerteza: As equipes que desenvolvem vários Data Cards começaram a desenvolver uma compreensão mais rica que pode ser usada para desenvolver um vocabulário de IA, a fim de expressar a incerteza, de maneiras que sejam claras para interpretar. Isso permite que os produtores expressem claramente as preocupações com os dados.
• Objetos de Fronteira: Data Cards funcionam como “objetos de fronteira”, permitindo que várias partes interessadas (cientistas de dados, gerentes de produto, analistas de política) os usem para diversas tarefas, como auditorias, avaliação de conjuntos de dados e rastreamento da adoção em vários grupos.

Como os Data Cards funcionam como objetos de fronteira no contexto da IA responsável?

Data Cards são projetados como objetos de fronteira, promovendo a tomada de decisões informadas sobre dados usados para construir e avaliar modelos de ML em produtos, políticas e pesquisas. Eles atuam como resumos estruturados de fatos essenciais sobre conjuntos de dados de ML, necessários pelas partes interessadas ao longo do ciclo de vida de um conjunto de dados para o desenvolvimento de IA responsável.

Sua principal função é preencher a lacuna entre diversas partes interessadas, incluindo:

• Produtores: Criadores upstream do conjunto de dados e sua documentação, responsáveis pela coleta, lançamento e manutenção.
• Agentes: Aqueles que leem relatórios de transparência e possuem a capacidade de usar ou determinar como os conjuntos de dados são usados. Isso inclui revisores ou especialistas no assunto.
• Usuários: Indivíduos que interagem com produtos que dependem de modelos treinados no conjunto de dados. Os Data Cards são destinados principalmente a agentes com expertise técnica, não a usuários finais.

Ao funcionar como objetos de fronteira, os Data Cards permitem que diversos indivíduos:

• Contribuam com diversas informações para as decisões.
• Descubram oportunidades para melhorar o design de dados.
• Estabeleçam um terreno comum entre as partes interessadas.

Os Data Cards também mediam efetivamente entre múltiplas comunidades de prática por:

• Apoiar revisões e auditorias.
• Informar o uso em sistemas de IA ou pesquisa.
• Facilitar comparações de conjuntos de dados.
• Incentivar a reprodutibilidade da pesquisa.
• Rastrear a adoção de conjuntos de dados em diferentes grupos.

Esses artefatos devem ser facilmente descobertos e apresentados em um formato acessível em pontos-chave na jornada de um usuário.

Em última análise, os Data Cards são projetados para incorporar flexibilidade interpretativa em diversos grupos de usuários, ao mesmo tempo em que facilitam o trabalho colaborativo e apoiam a tomada de decisão individual de uma maneira que leve em conta as considerações éticas da IA.

Preocupações Regulatórias e Imperativos de Transparência

A transparência e a explicabilidade dos resultados do modelo vistos através das lentes dos conjuntos de dados tornaram-se uma grande preocupação regulatória. Governos internacionalmente buscam mecanismos padronizados, práticos e sustentáveis para a transparência que criem valor em escala.

Os Data Cards apoiam esse objetivo regulatório por:

• Fornecer explicações claras dos processos e fundamentos.
• Abordar fontes upstream, coleta de dados, treinamento e usos pretendidos.
• Abrangendo decisões que afetam o desempenho do modelo.

Implicações Práticas

A adoção de Data Cards tem várias implicações práticas:

• Comunicação aprimorada: Discussões mais claras com as partes interessadas sobre a seleção, revisão e criação de dados.
• Qualidade de dados aprimorada: Promover a reflexão sobre o que é conhecido e desconhecido sobre o conjunto de dados, premissas e limitações.
• Abordagem baseada em princípios: Incentivar um design de conjunto de dados mais baseado em princípios e intencional.

Organizações que desejam adotar Data Cards devem considerar:

• Padrões de conteúdo: Interoperabilidade acordada e padrões de conteúdo para garantir que produtores e agentes desenvolvam modelos mentais equitativos de conjuntos de dados.
• Infraestrutura: Infraestrutura de gerenciamento de conhecimento conectada a pipelines de dados e modelos para incorporação perfeita de conhecimento.
• Automação: Equilibrar campos automatizados (para precisão) com explicações escritas por humanos (para contexto e justificativa).

Quais são algumas das considerações que promovem a adoção de Data Cards?

Os Data Cards visam promover uma documentação transparente, proposital e centrada no ser humano de conjuntos de dados dentro dos contextos práticos da indústria e da pesquisa, auxiliando no desenvolvimento responsável de IA. Várias considerações podem promover a sua adoção, com foco na utilidade, na centralidade humana e no tratamento de restrições do mundo real.

Principais Características Desejáveis:

• Consistência: Os Data Cards devem ser comparáveis entre modalidades e domínios, garantindo que as alegações sejam facilmente interpretáveis e válidas em seu contexto. Preservar a comparabilidade durante o dimensionamento é crucial.
• Abrangência: A criação do Data Card deve idealmente ocorrer simultaneamente com a criação do conjunto de dados, distribuindo a responsabilidade pela conclusão. Isso requer métodos padronizados que se estendam além do próprio Data Card.
• Inteligibilidade e Concisão: Os Data Cards devem comunicar-se eficientemente com leitores de diferentes níveis de proficiência. O conteúdo e o design devem promover a deliberação sem sobrecarregar, promovendo a cooperação em direção a um modelo mental compartilhado.
• Explicabilidade e Incerteza: Comunicar a incerteza juntamente com os metadados é vital. Descrições e justificativas claras para a incerteza podem estimular medidas de mitigação, levando a modelos mais justos e equitativos.

Princípios Chave para Design e Implementação:

• Flexibilidade: Os Data Cards devem descrever uma ampla gama de conjuntos de dados, sejam eles dinâmicos ou estáticos, de fonte única ou múltipla, ou multimodal.
• Modularidade: A documentação deve ser organizada em unidades autocontidas e repetíveis, fornecendo descrições completas de aspectos únicos do conjunto de dados.
• Extensibilidade: Os componentes devem ser facilmente reconfigurados ou estendidos para novos conjuntos de dados, análises e plataformas.
• Acessibilidade: O conteúdo deve ser representado em múltiplas granularidades para navegação eficiente e descrições detalhadas.
• Agnosticismo de Conteúdo: Suporte para diversos tipos de mídia, incluindo texto, visualizações, imagens, blocos de código e elementos interativos.

Superando Desafios:

• Abordando a Opacidade: Evite jargões técnicos; use explicações em linguagem simples sobre o que algo é, o que faz e por quê.
• Alinhamento de Stakeholders: Alinhe-se em uma definição compartilhada de transparência, público e requisitos do público.
• Fatores Organizacionais: Considere assimetrias de conhecimento, processos de incentivo, compatibilidade de infraestrutura e cultura de comunicação.

Frameworks para Criação Efetiva:

• Framework OFTEn: (Origens, Factuais, Transformações, Experiência, exemplo n=1) – permite a consideração sistemática de um tópico em todas as partes de um Data Card.
• Framework de Perguntas Socráticas: Use telescópios (visões gerais), periscópios (detalhes técnicos) e microscópios (detalhes refinados) para explorar progressivamente o conteúdo em múltiplos níveis de abstração.

Avaliação e Dimensões para Avaliar Data Cards:

• Responsabilidade: Demonstra propriedade, raciocínio e tomada de decisão sistemática.
• Utilidade ou Uso: Satisfaz as necessidades de tomada de decisão responsável em relação à adequação do conjunto de dados.
• Qualidade: Comunica rigor, integridade e integridade de forma acessível.
• Impacto ou Consequências do Uso: Define expectativas para resultados positivos e negativos.
• Risco e Recomendações: Aumenta a conscientização sobre os riscos potenciais e fornece informações para compensações responsáveis.

As organizações devem buscar Data Cards que possam ser facilmente adaptados aos seus conjuntos de dados, modelos e stacks tecnológicos. É fundamental a implementação de infraestruturas que fomentem a colaboração e a cocriação das partes interessadas, a vinculação e o armazenamento de artefatos externos e a automação parcial de visualizações, tabelas e resultados de análises, vinculação e armazenamento de informações relacionadas.

A adoção de Data Cards em toda a indústria pode ser estimulada por padrões de interoperabilidade e conteúdo acordados que sirvam como um meio para produtores e agentes desenvolverem modelos mentais mais equitativos de conjuntos de dados.

Quais são alguns dos fatores relacionados à infraestrutura e automação que impactam o uso eficaz de Data Cards?

Na pressa para implementar Data Cards e outros artefatos de transparência, as organizações precisam estar cientes das considerações de infraestrutura e automação que podem impactar sua eficácia.

Compatibilidade e Preparação da Infraestrutura

O sucesso de uma organização em aproveitar os Data Cards depende de sua capacidade de adaptá-los aos seus conjuntos de dados, modelos e pilhas de tecnologia existentes. Isso inclui:

• Garantir que as infraestruturas de gerenciamento de conhecimento estejam conectadas a pipelines de dados e modelos. Isso permite a incorporação perfeita de novos conhecimentos em Data Cards, mantendo-os atualizados com intervenção manual mínima.
• Escolher plataformas que suportem formatos interativos (formulários digitais, repositórios) e não interativos (PDFs, documentos). Isso torna os Data Cards mais acessíveis a uma gama diversificada de partes interessadas e casos de uso.
• Adotar um design baseado em blocos que facilite a implementação em várias plataformas, garantindo a adaptabilidade em diferentes interfaces.

Considerações sobre Automação

Embora a automação possa agilizar a criação e manutenção de Data Cards, é crucial encontrar um equilíbrio. Considere estes fatores:

• Repositórios Centralizados: Implementar repositórios pesquisáveis que permitam a descoberta eficiente de conjuntos de dados por agentes, distribuindo assim a responsabilidade do uso de dados em toda a organização.
• Colaboração das Partes Interessadas: Infraestruturas que permitem a cocriação colaborativa de Data Cards, a vinculação de artefatos e a automação parcial de visualizações são preferidas pelas partes interessadas.
• Automação Estratégica: Embora a automação de campos como estatísticas descritivas e resultados de análise melhore a precisão, evite automatizar áreas que exigem explicações contextuais, escritas por humanos, de métodos, premissas e decisões. Isso garante que o conhecimento implícito seja bem articulado. De acordo com um estudo, os leitores tendem a desaprovar a automação de campos no Data Card quando as respostas contêm premissas ou justificativas que ajudam a interpretar os resultados.
• Integridade dos Dados: A automação deve garantir a precisão e evitar a deturpação (e a subsequente legitimação) de conjuntos de dados de baixa qualidade.

Ao considerar cuidadosamente a infraestrutura e a automação, as organizações podem maximizar a utilidade dos Data Cards, melhorar a governança de dados e, no geral, promover um desenvolvimento de IA mais responsável.