Qual é o escopo apropriado para a auditoria algorítmica?
Uma auditoria algorítmica sócio-técnica de ponta a ponta (E2EST/AA) fornece a abordagem mais abrangente. Ela inspeciona um sistema de IA dentro de seu contexto operacional real, examinando os dados específicos utilizados e os indivíduos afetados pelos dados.
Esta abordagem é crítica porque os sistemas de IA operam dentro de estruturas sociais e organizacionais complexas, usando dados gerados por indivíduos e sociedades. Negligenciar esses aspectos sócio-técnicos, focando-se apenas em questões técnicas, levaria a avaliações incompletas e potencialmente prejudiciais.
Quais Sistemas Devem Ser Auditados?
O processo E2EST/AA é projetado para sistemas algorítmicos empregados em:
- Ranking
- Reconhecimento de imagem
- Processamento de linguagem natural
É aplicável a sistemas que tomam decisões sobre indivíduos ou grupos usando fontes de dados conhecidas, independentemente de dependerem de aprendizado de máquina ou de métodos de computação mais tradicionais. Isso engloba a maioria dos sistemas usados nos setores público e privado para:
- Alocação de recursos
- Categorização
- Identificação/verificação
…em áreas como saúde, educação, segurança e finanças. As aplicações específicas incluem detecção de fraude, processos de contratação, gerenciamento de operações e ferramentas de previsão/avaliação de risco.
Além da Avaliação de Viés
Embora a avaliação de viés seja central, E2EST/AA estende seu alcance. Investiga:
- Impacto social mais amplo
- Desejabilidade
- Inclusão de usuários finais na fase de design
- Disponibilidade de mecanismos de recurso para os impactados
Para “passar” em uma auditoria algorítmica, um sistema deve abordar questões relativas à proporcionalidade do impacto, participação das partes interessadas e alocação de recursos.
Limitações
Uma limitação central da auditoria algorítmica é que ela avalia as implementações de sistemas existentes. Não aborda a questão fundamental de se um sistema deveria existir em primeiro lugar.
Como deve ser conduzido o processo de uma auditoria algorítmica sócio-técnica de ponta a ponta?
Uma auditoria algorítmica sócio-técnica de ponta a ponta (E2EST/AA) é um processo iterativo que envolve uma estreita colaboração entre auditores e a equipe de desenvolvimento de IA. Ela é projetada para inspecionar sistemas de IA dentro de sua implementação no mundo real, atividades de processamento e contexto operacional, com foco nos dados específicos utilizados e nos titulares dos dados afetados.
Etapas Principais no Processo E2EST/AA
Aqui está uma análise dos componentes principais envolvidos na condução de uma auditoria abrangente:
- Criação do Cartão de Modelo: Os auditores começam coletando e revisando informações detalhadas por meio de um “cartão de modelo”. Este documento compila detalhes cruciais sobre o treinamento, teste, recursos e as motivações por trás do conjunto de dados escolhido do modelo de IA. Ele também serve como um repositório centralizado para documentação essencial, incluindo DPIAs (Avaliações de Impacto na Proteção de Dados), aprovações de ética e acordos de compartilhamento de dados.
- Desenvolvimento do Mapa do Sistema: Em seguida, um mapa do sistema contextualiza o algoritmo, ilustrando os relacionamentos e interações entre o modelo algorítmico, o sistema técnico e o processo de tomada de decisão abrangente. O auditor projeta uma versão inicial disso, e a equipe de desenvolvimento valida e completa. No âmbito de uma investigação realizada por uma Autoridade Supervisora deve constar a existência de:
- Inventário do componente baseado em IA auditado [Artigo 5.2]
- Identificação de responsabilidades [Capítulo IV]
- Transparência [Artigo 5.1.a e Capítulo III – Seção 1, Artigos 13.2.f e 14.2.g do Capítulo III – Seção 2]
- Identificação de finalidades e usos pretendidos [Artigo 5.1.b]
- Definição do contexto pretendido do componente baseado em IA [Artigo 24.1]
- Análise de proporcionalidade e necessidade [Artigo 35.7.b]
- Definição dos potenciais destinatários dos dados [Capítulo III; especialmente Artigos 13.1.e e 14.1.e]
- Limitação do armazenamento de dados [Artigo 5.1.e, exceções Artigo 89.1]
- Análise das categorias de titulares de dados [Artigo 35.9]
- Identificação da política de desenvolvimento do componente baseado em IA [Artigo 24.1]
- Envolvimento do Encarregado da Proteção de Dados (DPO) [Seção 4 do Capítulo IV]
- Ajuste de modelos teóricos básicos [Artigo 5.1.a]
- Adequação do arcabouço metodológico [Artigo 5.1.a]
- Identificação da arquitetura básica do componente baseado em IA [Artigo 5.2]
- Identificação de Viés: Uma etapa crítica é identificar potenciais momentos e fontes de viés ao longo do ciclo de vida do sistema de IA — do pré-processamento ao processamento (inferência) ao pós-processamento (implantação). Os auditores devem documentar o seguinte:
- Garantia da qualidade dos dados [Artigo 5.1]
- Definição da origem das fontes de dados [Artigos 5 e 9]
- Pré-processamento de dados pessoais [Artigo 5]
- Controle de viés [Artigo 5.1.d]
- Teste de Viés: Com base na documentação reunida e no acesso à equipe de desenvolvimento e aos dados relevantes, o auditor projeta e implementa vários testes para detectar vieses que podem impactar negativamente indivíduos, grupos ou a funcionalidade geral do sistema. Esses testes geralmente envolvem análise estatística, a seleção de métricas de equidade apropriadas e, potencialmente, o contato com usuários finais ou comunidades afetadas.
- Adaptação do processo de verificação e validação do componente baseado em IA [Artigos 5.1.b e 5.2]
- Verificação e validação do componente baseado em IA [Artigos 5.1.a e 5.1.b]
- Desempenho [Artigo 5.1.d]
- Consistência [Artigo 5.1.d]
- Estabilidade e robustez [Artigo 5.2]
- Rastreabilidade [Artigos 5 e 22]
- Segurança [Artigos 5.1.f, 25 e 32]
- Auditoria Adversarial (Opcional): Para sistemas de alto risco, e especialmente aqueles que utilizam aprendizado de máquina não supervisionado, uma auditoria adversarial é altamente recomendada. Isso envolve simular condições do mundo real e potenciais ataques para descobrir vulnerabilidades e vieses ocultos que podem não ser aparentes durante os testes padrão.
O Relatório de Auditoria: Garantindo Transparência e Responsabilidade
O culminar do processo de auditoria é a geração de relatórios abrangentes. Três tipos principais de relatórios de auditoria devem ser gerados:
- Relatório interno E2EST/AA: Os auditores escrevem este relatório para capturar o processo seguido, as questões identificadas e as medidas de mitigação que foram aplicadas ou podem ser aplicadas.
- Relatório público E2EST/AA: Versão final do processo de auditoria, onde os auditores descrevem o sistema, a metodologia de auditoria, as medidas de mitigação e melhoria implementadas e outras recomendações, se houver.
- Relatórios periódicos E2EST/AA: Esses relatórios de auditoria de acompanhamento precisam fornecer garantias de que os desenvolvedores do sistema continuaram a testar o viés, implementar medidas de mitigação e controlar o impacto.
Que insights podem ser obtidos ao examinar os momentos e as fontes de viés em um sistema de IA?
Analisar o viés em sistemas de IA vai além da simples identificação de grupos protegidos e do cálculo de tratamento desigual. Uma abordagem abrangente, como a Auditoria Algorítmica Sócio-Técnica de Ponta a Ponta (E2EST/AA), exige o exame dos momentos e das fontes de viés ao longo do ciclo de vida da IA para evitar resultados injustos e infrações regulatórias.
Compreendendo os Momentos de Viés
A E2EST/AA identifica os principais momentos no ciclo de vida da IA em que o viés pode se insinuar:
- Pré-processamento: Desde a coleta inicial de dados (“Mundo → Dados”) até sua transformação em variáveis utilizáveis (“Amostra → Variáveis + Valores”), o viés pode derivar de como os dados são coletados, quem está representado e como a informação é estruturada.
- Processamento Interno (Inferência do Modelo): Aqui, os vieses pré-existentes podem ser amplificados à medida que a IA aprende padrões a partir dos dados (“Variáveis + Valores → Padrões”) e faz previsões (“Padrões → Previsões”).
- Pós-processamento (Implantação do Modelo): Os impactos do viés se manifestam à medida que as previsões se transformam em decisões (“Previsões → Decisões”), e essas decisões impactam o mundo real (“Decisões → Mundo”).
Identificando as Fontes de Viés
Apontar as origens do viés é crucial para uma mitigação eficaz. A E2EST/AA destaca diversas fontes:
- Viés Tecnológico: Isso inclui o “viés tecno-solucionista” (superdependência da tecnologia), “Super simplificação”, “Caracterização parcial ou tendenciosa” e o viés de “Variável omitida”.
- Viés Relacionado a Dados: “Viés de seleção”, “Viés histórico”, “Viés de rótulo”, “Viés de generalização”, “Viés estatístico”, “Viés de medição”, “Viés de privacidade” e “Viés de agregação” se enquadram nessa categoria.
- Viés Cognitivo: “Overfitting e Underfitting”, “Falácia da mão quente” e “Viés de automatização” representam erros cognitivos no desenvolvimento do modelo.
- Viés de Implantação: Considerações sobre o “Viés de teste de benchmark” e a “Visualização de dados”.
Implicações Práticas e Preocupações Regulatórias
Deixar de identificar e abordar esses vieses pode levar a:
- Violação de direitos individuais
- Reforço de estereótipos
- Decisões ineficientes ou prejudiciais
- Discriminação contra indivíduos e grupos
- Reprodução de desigualdades sociais
O auditor deve registrar a existência de procedimentos documentados para gerenciar e garantir a governança de dados adequada, o que permite verificar e fornecer garantias da precisão, integridade, exatidão, veracidade, atualização e adequação dos conjuntos de dados usados para treinamento, testes e operação.
Em que circunstâncias uma auditoria adversarial é uma adição benéfica ao processo?
O documento sugere que as auditorias adversariais, embora opcionais, oferecem um valor significativo em certos cenários. Estas auditorias servem como uma salvaguarda crítica, descobrindo problemas que até mesmo as metodologias de auditoria padrão mais meticulosas podem perder.
Sistemas de Alto Risco
Para sistemas de IA de alto risco, e especialmente aqueles que empregam modelos de aprendizado de máquina (ML) não supervisionados, as auditorias adversariais são “altamente recomendadas”. A complexidade e a opacidade desses sistemas podem dificultar o rastreamento dos atributos do modelo por meios convencionais. A engenharia reversa, facilitada por técnicas adversariais, torna-se uma abordagem valiosa.
Verificando Informações da Auditoria
As auditorias adversariais também são benéficas na verificação da integridade e precisão das informações fornecidas durante o processo de auditoria inicial. Elas fornecem uma camada adicional de escrutínio, garantindo que possíveis vieses e riscos não sejam negligenciados.
Detecção de Bias no Mundo Real
Essas auditorias são particularmente eficazes na detecção de:
- Variáveis omitidas que só surgem quando o sistema de IA opera em ambientes de produção do mundo real.
- Proxies que levam a tratamento injusto e outros impactos prejudiciais.
- Bias de aprendizado — um fenômeno em que sistemas de ML não supervisionados incorporam variáveis e rótulos de dados de treinamento que não foram inicialmente previstos, levando a resultados negativos imprevistos. Estes são detectáveis apenas através da análise de dados de impacto em larga escala.
Limitações de Acesso
Quando as comunidades impactadas ou os reguladores não têm acesso direto a um sistema algorítmico, as auditorias adversariais podem ser realizadas como avaliações independentes. Isso permite a verificação independente do comportamento e impacto do sistema.
Técnicas de Coleta de Dados
A realização de uma auditoria adversarial envolve a coleta de dados de impacto em escala, usando técnicas como:
- Raspagem de fontes da web.
- Entrevistas com usuários finais.
- Crowdsourcing de dados de usuários finais.
- Emprego de “sockpuppeting” — criação de perfis falsos com características específicas para acionar e analisar resultados do modelo.
Em essência, as auditorias adversariais são mais valiosas quando se lida com sistemas de IA complexos e de alto risco, ao verificar os resultados da auditoria e quando avaliações independentes são necessárias devido a limitações de acesso.
Quais são os componentes essenciais de um relatório de auditoria eficaz?
Da perspectiva de um jornalista de tecnologia especializado em governança e conformidade de IA, o relatório de auditoria é onde a teoria se encontra com a prática. Não se trata apenas de marcar caixas; trata-se de construir confiança e garantir que os sistemas de IA se alinhem com os valores da sociedade e as estruturas legais. Aqui está o que um relatório de auditoria de IA eficaz deve incluir:
Relatórios de Auditoria Principais
-
Relatório interno E2EST/AA com medidas de mitigação e anexos: Este relatório documenta o processo de auditoria, identifica problemas e detalha as estratégias de mitigação aplicadas ou aplicáveis. Os auditores algorítmicos *devem* ser proativos, sugerindo soluções, monitorando a implementação e reportando os resultados finais.
-
Relatório público E2EST/AA: Este é o documento voltado para o público externo que descreve o sistema, a metodologia de auditoria, os esforços de mitigação, as melhorias e as recomendações futuras. Crucialmente, ele deve propor a frequência, metodologia (incluindo métricas específicas) para auditorias subsequentes.
-
Relatórios E2EST/AA periódicos: Estes são acompanhamentos recorrentes. Eles devem referenciar o relatório de auditoria inicial, confirmando que os desenvolvedores continuaram os testes de viés, implantaram estratégias de mitigação e estão rastreando o impacto.
No âmbito de uma investigação conduzida por uma Autoridade Supervisora, os relatórios de auditoria eficazes devem conter elementos que rastreiam:
- Identificação e transparência do componente baseado em IA, histórico de versões da evolução do componente de IA.
- Identificação das responsabilidades associadas a cada etapa de processamento.
- Transparência das fontes de dados.
- Identificação da definição dos propósitos pretendidos, contexto de potenciais destinatários dos dados, limitações do armazenamento de dados e análise das categorias de titulares dos dados.
- Identificação da política de desenvolvimento do componente baseado em IA.
- Documentar modelos teóricos básicos.
- Documentar a estrutura metodológica.
- Documentar a arquitetura básica do componente baseado em IA.
Elementos-Chave para Todos os Relatórios:
Documentação: Todas as interações e documentos trocados devem ser compilados e mantidos em arquivo pelos proprietários do sistema e auditores.
Gestão de Risco:
- Análise de Risco desenvolvida relacionada aos requisitos de segurança e privacidade.
- Padrões e melhores práticas levadas em consideração para configuração e desenvolvimento seguros do componente de IA.
Perfis de Explicabilidade: Os relatórios de auditoria devem incluir o Perfilamento de Explicabilidade para explicar as consequências, garantir a legibilidade do código, a compressão da lógica e a consistência interna.
Auditorias Periódicas: Dependendo da complexidade do sistema, ambas as versões, interna e pública, de auditorias periódicas podem ser necessárias.
