Viés algorítmico: causas, exemplos e controlos

O essencial

• O viés algorítmico é um erro sistemático e repetível de um sistema automatizado que produz resultados injustos ou discriminatórios para certas pessoas ou grupos, não um erro aleatório.
• Raramente nasce de uma única linha de código. Entra através dos dados, da conceção do modelo e do contexto humano e institucional que rodeia o sistema.
• O Regulamento da IA da UE torna-o uma obrigação jurídica: o artigo 10.º obriga os fornecedores de sistemas de risco elevado a examiná-lo e a atenuá-lo, com aplicação a partir de 2 de agosto de 2026.
• Medir o viés consiste em comparar os resultados entre grupos protegidos com métricas de equidade como a paridade demográfica ou a igualdade de oportunidades.
• O controlo duradouro é uma questão de governação, não de uma correção pontual: testes documentados, supervisão humana e monitorização registados num sistema de gestão da IA.

O que é o viés algorítmico?

O viés algorítmico designa os erros sistemáticos e repetíveis de um sistema informático que produzem resultados injustos, por exemplo ao favorecer um grupo de utilizadores em relação a outro sem uma razão legítima. A palavra decisiva é sistemático. Um modelo que erra ao acaso é apenas impreciso. Um modelo que erra sempre em desfavor do mesmo grupo está enviesado, e é essa regularidade que transforma uma falha técnica num problema jurídico e reputacional. Três termos são frequentemente confundidos. O viés dos dados designa um desequilíbrio num conjunto de dados, por exemplo um corpus de treino que sub-representa os candidatos mais velhos. O viés da IA é o termo geral que abrange qualquer comportamento injusto de um sistema de IA. O viés algorítmico situa-se entre os dois: é o padrão injusto que um algoritmo produz quando os dados, as opções de conceção e a implementação se combinam. O viés dos dados é uma das suas causas, o viés algorítmico é o seu resultado observável. O enquadramento mais útil para a governação vem do instituto norte-americano de normalização NIST. Na publicação NIST SP 1270, o viés da IA é tratado como um fenómeno sociotécnico: não pode ser eliminado apenas ajustando o código, porque reflete escolhas sobre os dados, os objetivos e o contexto social de utilização. Isto tem uma consequência direta na conformidade. Uma resposta credível tem de abranger processos, pessoas e governação, não apenas uma métrica do modelo. Para uma organização que constrói um sistema de gestão da IA, essa é a fronteira entre um controlo defensável e um mero formalismo.

De onde vem o viés algorítmico

A publicação NIST SP 1270 classifica as origens do viés em três categorias. Cada uma exige um tipo de controlo diferente, e é por isso que nomear a categoria é o primeiro passo prático.

Viés computacional e estatístico

É o viés que vem dos dados e do próprio modelo. Dados de treino que sub-representam um grupo, etiquetas que codificam um preconceito passado ou uma variável proxy que substitui discretamente uma característica protegida orientam as previsões numa direção enviesada. Um culpado frequente é a função objetivo: otimizar um único alvo, como o custo ou o envolvimento, pode prejudicar os grupos que esse alvo descreve mal. O modelo faz exatamente o que lhe foi pedido, e é aí que reside o problema.

Viés sistémico

O viés sistémico é herdado das instituições e da história, não de um erro pontual nos dados. Se um processo de recrutamento favoreceu durante anos um grupo da população, um modelo treinado com esse histórico aprende a mesma preferência mesmo quando nenhuma característica protegida aparece nas variáveis. O algoritmo torna-se fiel ao passado e injusto com o presente. Remover o campo sensível não basta, porque outras variáveis funcionam como substitutos.

Viés humano

O viés humano entra através das pessoas que concebem, constroem e utilizam o sistema. Os atalhos cognitivos condicionam a escolha das variáveis, a interpretação dos resultados e o momento em que um revisor confia na máquina. O viés de automação, a tendência para confiar num resultado automatizado mesmo quando outros elementos o contradizem, é um dos mais comuns e perigosos, porque pode transformar uma recomendação defeituosa numa decisão final enquanto um ser humano está nominalmente no circuito. Estas categorias acompanham o ciclo de vida da aprendizagem automática. A lista de verificação de auditoria da IA preparada para o Comité Europeu para a Proteção de Dados pela doutora Gemma Galdon Clavell situa o viés em três momentos: pré-processamento (recolha e preparação dos dados), processamento (treino e inferência do modelo) e pós-processamento (como uma previsão se torna uma decisão). Nomear o momento torna a correção concreta, porque um problema de etiquetagem não se resolve com uma regra de implementação.

O viés algorítmico na vida real

As definições fixam-se melhor em casos documentados, e vários reaparecem entre investigadores e autoridades. Na justiça penal, a ferramenta de previsão de reincidência COMPAS tornou-se o exemplo de referência após uma investigação da ProPublica em 2016: os arguidos negros tinham quase o dobro da probabilidade de serem classificados erradamente como de risco elevado (cerca de 45 por cento) face aos arguidos brancos (cerca de 23 por cento), enquanto estes últimos eram mais vezes rotulados como de baixo risco apesar de reincidirem depois. Na saúde, um algoritmo estudado por Obermeyer e colegas na Science (2019) influenciou decisões de cuidados para cerca de 200 milhões de pessoas nos Estados Unidos. Usava o custo dos cuidados como aproximação da necessidade de cuidados. Como historicamente se gastara menos com doentes negros com as mesmas patologias, o modelo avaliava-os como menos necessitados. Em conjunto com o fornecedor, os investigadores reduziram o viés medido em cerca de 80 por cento depois de corrigido o proxy. No recrutamento, a Amazon abandonou uma ferramenta experimental após constatar que penalizava os currículos com a palavra women’s e favorecia os candidatos do sexo masculino, porque fora treinada com uma década de currículos maioritariamente masculinos. No crédito ao consumo, o Apple Card foi alvo de escrutínio regulatório em 2019 após relatos de que às mulheres eram propostos limites inferiores aos de homens com perfis comparáveis. O padrão é constante. Nenhuma equipa quis discriminar. O viés chegou por variáveis proxy, dados históricos e pressupostos não examinados, e é precisamente por isso que tem de ser testado em vez de presumido ausente.

Quem é responsável: fornecedores e responsáveis pela implementação

Uma fonte recorrente de confusão é a quem pertence o problema do viés. O Regulamento da IA da UE responde repartindo as obrigações entre os fornecedores, que desenvolvem ou colocam um sistema no mercado, e os responsáveis pela implementação, que o utilizam. Os fornecedores assumem as obrigações sobre dados e modelo. Constroem o pipeline de treino e escolhem o objetivo, pelo que estão mais próximos do viés computacional e estatístico. Os responsáveis pela implementação assumem a obrigação de contexto. Decidem onde e sobre quem um sistema é utilizado, e é aí que surgem muitas vezes o viés sistémico e o viés de automação. Um modelo sem viés pode ainda produzir resultados injustos se for implementado sobre uma população para a qual nunca foi validado. Para as organizações reguladas, esta repartição tem uma implicação prática: os controlos do viés têm de existir dos dois lados da relação com o fornecedor. A aquisição é o ponto de controlo natural. Um responsável pela implementação que exige ao fornecedor, antes de assinar, as provas dos testes de viés, a análise de representatividade e os limites de utilização previstos transforma um momento contratual num controlo. A plataforma de governação da IA da AI Sigil foi construída em torno dessa passagem de testemunho, para que as provas do fornecedor e as avaliações do responsável pela implementação residam num único processo.

Porque é que o viés algorítmico é hoje uma obrigação de conformidade

Durante grande parte da última década, o viés foi tratado como uma questão ética. Com o Regulamento da IA da UE é uma questão jurídica, com obrigações e prazos concretos. O artigo 10.º do Regulamento da IA exige que os dados de treino, validação e teste dos sistemas de risco elevado sejam pertinentes, suficientemente representativos e, na medida do possível, isentos de erros e completos tendo em vista a finalidade prevista. Exige explicitamente que a governação dos dados inclua um exame dos possíveis vieses suscetíveis de afetar a saúde e a segurança, de prejudicar os direitos fundamentais ou de conduzir a discriminação proibida pelo direito da União, bem como medidas para detetar, prevenir e atenuar esses vieses. O artigo 10.º, n.º 5, vai mais longe, permitindo aos fornecedores tratar categorias especiais de dados pessoais quando estritamente necessário para detetar e corrigir vieses, sob reserva de garantias. As obrigações para os sistemas de risco elevado do anexo III tornam-se aplicáveis a partir de 2 de agosto de 2026. Os responsáveis pela implementação têm uma obrigação própria. O artigo 27.º obriga determinados responsáveis pela implementação de sistemas de risco elevado, incluindo muitos organismos públicos, a realizar uma avaliação de impacto sobre os direitos fundamentais antes da primeira utilização, descrevendo os grupos afetados, os riscos específicos de dano, as medidas de supervisão humana e os mecanismos de reclamação. O viés está no centro dessa avaliação, porque um único sistema enviesado na educação pode afetar ao mesmo tempo a não discriminação, o direito à educação e os direitos das crianças. Convém distinguir dois planos do direito. O Regulamento da IA impõe uma obrigação ex ante, técnica, de examinar e atenuar o viés durante o desenvolvimento. O direito antidiscriminação atua ex post, sobre os resultados, quando uma pessoa sofre um dano. A doutrina jurídica recente sublinha que os dois são complementares sem serem idênticos: cumprir um não satisfaz automaticamente o outro. Um programa defensável prevê ambos e documenta o seu raciocínio. As normas traduzem a obrigação num modelo operacional. O quadro do NIST para a gestão do risco da IA situa o trabalho sobre o viés na sua função MEASURE. A norma ISO/IEC 42001 sobre sistemas de gestão da IA fornece o lugar documentado para os controlos do viés, os seus responsáveis e as provas. Em conjunto, transformam o viés de um tema de investigação num controlo gerido e rastreável.

Como detetar e medir o viés algorítmico

A deteção começa antes de qualquer cálculo: é preciso decidir que grupos proteger. Costumam acompanhar características protegidas por lei, como a origem, o sexo, a idade, a religião ou a deficiência, e os seus proxies mais próximos, e essa escolha deve ficar registada. Definidos os grupos, comparam-se os resultados entre eles. As métricas de equidade em que se apoiam a maioria das metodologias de auditoria, incluindo a lista do Comité Europeu para a Proteção de Dados, são simples de calcular e de documentar:

• Paridade demográfica: cada grupo recebe resultados positivos a uma taxa semelhante.
• Igualdade de oportunidades: as pessoas qualificadas recebem resultados positivos a uma taxa semelhante entre grupos.
• Igualdade de probabilidades: as taxas de erro, falsos positivos e falsos negativos, são semelhantes entre grupos.
• Diferença de risco (p1 menos p2) e razão de risco (p1 dividido por p2): medidas simples e auditáveis da diferença entre dois grupos.

Nenhuma métrica é correta em todas as situações, e várias não podem ser satisfeitas em simultâneo por razões matemáticas. A escolha da métrica é, portanto, uma decisão de governação por si só, que deve ser justificada por escrito e depois testada face a uma verdade de referência e à representatividade dos dados de treino. Um número de equidade sem justificação registada é uma prova fraca numa auditoria.

Como atenuar e governar o viés algorítmico

Uma atenuação que resiste ao escrutínio é repetível. Um fluxo de trabalho prático, retirado da metodologia de auditoria do Comité Europeu para a Proteção de Dados, desenrola-se em quatro passos que qualquer equipa de governação pode documentar.

1. Ficha do modelo: registar a finalidade, o responsável, as fontes de dados e a utilização prevista do sistema.
2. Mapa do sistema: captar como o modelo, o sistema técnico mais amplo e o processo de decisão se ligam, e quem é responsável em cada fase.
3. Momentos e fontes do viés: identificar onde o viés pode entrar no pré-processamento, no processamento e no pós-processamento.
4. Teste de viés: executar as métricas de equidade sobre os grupos protegidos definidos e depois registar os resultados e as ações tomadas.

Cada passo corresponde às três fases do ciclo de vida que a NIST SP 1270 recomenda para gerir o viés: pré-conceção, conceção e desenvolvimento, e implementação. Os controlos colocados cedo, como dados representativos e um objetivo bem escolhido, são mais económicos e eficazes do que as correções acrescentadas após a entrada em produção. Para os sistemas de risco mais elevado ou não supervisionados, uma auditoria adversarial, que sonda o sistema com entradas concebidas de propósito, pode revelar vieses que os testes-padrão não captam. As correções técnicas são apenas metade da resposta. Como o viés é sociotécnico, um controlo duradouro assenta na governação: um responsável nomeado para cada modelo, uma supervisão humana real que resista ao viés de automação, um mecanismo de reclamação para as pessoas afetadas e um novo teste periódico a cada alteração do sistema ou da sua população. Com o Regulamento da IA, a prova faz parte da obrigação, por isso este trabalho tem de ficar por escrito. Registar os testes de viés, as decisões de atenuação e a monitorização num único inventário e sistema de gestão da IA transforma boas intenções dispersas num controlo auditável, ligado diretamente ao artigo 10.º e à norma ISO/IEC 42001.

Perguntas frequentes

O que é o viés algorítmico? O viés algorítmico é um erro sistemático e repetível de um sistema automatizado que produz resultados injustos ou discriminatórios para certas pessoas ou grupos sem uma razão legítima. Distingue-se da imprecisão aleatória porque prejudica sempre as mesmas pessoas, o que o torna ao mesmo tempo mensurável e juridicamente relevante. Qual é um exemplo de viés algorítmico? Um caso bem documentado é o de um algoritmo de saúde que usava a despesa passada como aproximação da necessidade médica. Como historicamente se gastara menos com doentes negros com as mesmas patologias, o sistema avaliava-os como menos necessitados, afetando os cuidados de cerca de 200 milhões de pessoas até que o proxy foi corrigido e o viés reduzido em cerca de 80 por cento. Qual é a diferença entre viés algorítmico e viés da IA? O viés da IA é o termo geral para qualquer comportamento injusto de um sistema de IA. O viés algorítmico é o padrão injusto concreto que um algoritmo produz quando os dados, a conceção e a implementação interagem. O viés dos dados, ou seja, o desequilíbrio do conjunto de dados subjacente, é uma das suas causas principais, não um sinónimo. O que é o viés de automação? O viés de automação é a tendência humana para confiar demasiado num resultado automatizado, mesmo quando outros elementos sugerem que está errado. Importa para a supervisão da IA porque pode transformar em silêncio uma recomendação defeituosa numa decisão final, anulando o sentido de ter uma pessoa no circuito. O viés algorítmico é ilegal segundo o Regulamento da IA da UE? O Regulamento não proíbe o viés de forma absoluta, mas torna o seu exame e atenuação uma obrigação legal para os sistemas de risco elevado nos termos do artigo 10.º, aplicável a partir de 2 de agosto de 2026. Além disso, o direito antidiscriminação pode intervir quando resultados enviesados causam dano a uma pessoa. Como se mede o viés algorítmico? Definem-se os grupos protegidos e depois comparam-se os resultados entre eles com métricas de equidade como a paridade demográfica, a igualdade de oportunidades, a igualdade de probabilidades e a diferença ou razão de risco entre grupos, confrontando os resultados com uma verdade de referência e com a representatividade dos dados de treino.

Conclusão

O viés algorítmico já não é a questão de saber se um sistema é ético em abstrato. É a questão de saber se uma organização consegue demonstrar, com provas, que procurou os resultados injustos, os mediu e agiu. O Regulamento da IA da UE, a NIST SP 1270 e a norma ISO/IEC 42001 apontam para a mesma expectativa: o viés é um controlo gerido, documentado e auditável, não uma limpeza pontual. As equipas que o tratam assim, com responsabilidade clara, testes de equidade e monitorização reunidos num só lugar, cumprirão os prazos de 2026 e construirão sistemas em que clientes e autoridades possam confiar. A AI Sigil ajuda as organizações reguladas a pôr em prática exatamente estes controlos numa única plataforma de governação da IA.