Entendendo o Direito à Explicação e a Tomada de Decisões Automatizadas no GDPR e na Lei de IA da Europa
Os sistemas de tomada de decisão automatizada (TDA) são utilizados para substituir ou apoiar a decisão humana, dependendo de como o sistema é projetado e para que finalidade é utilizado. O objetivo é melhorar a precisão, eficiência, consistência e objetividade das decisões que antes eram feitas apenas por humanos. Exemplos incluem sistemas de recrutamento automatizados, triagem de saúde, moderação de conteúdo online e policiamento preditivo.
Em democracias liberais, as pessoas se acostumaram a que decisões consequenciais em áreas como educação, assistência social, emprego, saúde e judiciário sejam sujeitas a procedimentos padronizados e processos de apelação que estão abertos à scrutínio público. Isso reflete uma compreensão básica de que os tomadores de decisão humanos não são infalíveis nem sempre justos, mas que é possível limitar o impacto das falhas humanas estabelecendo padrões contra os quais a justiça das decisões consequenciais pode ser avaliada.
Assim como a tomada de decisão humana, que está sujeita a escrutínio público, as disposições relevantes no Regulamento Geral sobre a Proteção de Dados (GDPR) e na Lei de IA da Europa visam salvaguardar a justiça substantiva e processual das decisões automatizadas. De forma ampla, a justiça substantiva envolve considerações como justiça distributiva, não discriminação, proporcionalidade, precisão e confiabilidade, enquanto a justiça processual requer, no mínimo, transparência, devido processo, consistência, supervisão humana e o direito à explicação.
Exemplos de Falhas em Sistemas de IA
Exemplos recentes de sistemas de IA que não atenderam a esses requisitos incluem:
- sistemas de detecção de fraude de assistência social em Amsterdã e no Reino Unido,
- famílias sendo erroneamente sinalizadas para investigações de abuso infantil no Japão,
- residentes de baixa renda sendo negados subsídios alimentares no estado indiano de Telangana,
- e viés racial em ferramentas de IA generativa usadas para auxiliar na contratação.
Dadas as preocupações legítimas sobre a precisão, confiabilidade, robustez e justiça da TDA, são feitas disposições para o direito de fornecer consentimento explícito para ser submetido a decisões automatizadas (GDPR art. 22), ser informado sobre o uso da TDA (GDPR art. 13, 14 e 15 e AIA art. 26), intervenção ou supervisão humana (GDPR art. 22 e AIA art. 86), e o direito a uma explicação (GDPR art. 13, 14 e 15 e AIA art. 86).
O Direito à Explicação
No GDPR, o direito à explicação se aplica a decisões baseadas exclusivamente em processamento automatizado que produzem efeitos legais ou de natureza semelhante em relação a uma pessoa natural (art. 22), embora o direito a uma explicação de tais decisões seja detalhado nos Artigos 13-15, que requerem a provisão de “informações significativas sobre a lógica envolvida, bem como o significado e as consequências previstas desse processamento.”
Na Lei de IA (art. 86), a redação relevante refere-se ao “direito de obter do implementador explicações claras e significativas sobre o papel do sistema de IA no procedimento de tomada de decisão e os principais elementos da decisão tomada.”
Há muito debate entre especialistas jurídicos e de políticas sobre questões como a interpretação do requisito de “informações significativas sobre a lógica envolvida” no GDPR, que tipo de explicação é exigida sob a Lei de IA, bem como os fins que tais explicações pretendem servir. O que é negligenciado nesses debates é a dificuldade técnica de fornecer explicações para as saídas do modelo utilizadas na TDA, bem como a inadequação de implantar a TDA preditiva em domínios onde a agência humana é um fator.
IA Explicável
O campo da IA Explicável (XAI) foca em maneiras de garantir que as saídas dos sistemas de IA, ou seja, decisões automatizadas, possam ser explicadas e compreendidas pelas pessoas afetadas pelas saídas/decisões de um sistema de IA. Existem dois tipos amplos de métodos para alcançar isso: intrínsecos e pós-hoc.
Métodos Intrínsecos
Métodos intrínsecos são possíveis quando o modelo de IA é simples o suficiente para que a relação entre entradas e saídas seja interpretável. Por exemplo, se um modelo de árvore de decisão é utilizado para a pontuação de crédito em solicitações de empréstimos, é possível traçar cada passo do caminho de raciocínio do modelo a partir das entradas (por exemplo, renda, histórico de emprego, histórico de crédito e valor do empréstimo) até a saída de se o solicitante é elegível para o empréstimo solicitado. Quando isso é conhecido, é possível explicar ao solicitante do empréstimo a base da decisão automatizada.
Métodos Pós-Hoc
Em contraste, métodos pós-hoc são utilizados quando o modelo é complexo demais para traçar seu caminho de raciocínio de entradas para saídas, o que ocorre com muitos sistemas de IA atuais (por exemplo, grandes modelos de linguagem como ChatGPT). Como modelos de IA complexos não são interpretáveis, métodos pós-hoc como Shapley Values e LIME são empregados para fornecer insights sobre o raciocínio de um modelo sem ter acesso à sua estrutura interna, que permanece opaca. Qualquer insight obtido é apenas uma aproximação do caminho de raciocínio real do modelo, o que significa que não há garantia da precisão ou consistência das explicações pós-hoc.
As explicações pós-hoc, portanto, não fornecem o tipo de proteções que são possíveis quando as decisões humanas são contestadas, pois podem ser imprecisas e, portanto, inúteis, ou podem criar uma confiança equivocada na explicação fornecida. Em qualquer caso, as explicações pós-hoc não fornecem uma base confiável sobre a qual identificar ou reverter decisões substantivamente injustas.
Isso significa que o direito à explicação na TDA só é viável quando os modelos de IA são interpretáveis. Mas dado que modelos de IA mais complexos tendem a ser mais precisos, as pessoas ficam com um compromisso entre explicabilidade e desempenho. Essa preocupação é menor do que pode parecer à primeira vista, pois também há razões para limitar o uso da TDA quando as decisões estão corretamente sujeitas ao escrutínio público.
Por que a Previsão Não é Suficiente
Como argumentam Narayanan e Kapoor, previsões de ‘resultados da vida’ são tanto não confiáveis quanto eticamente problemáticas. Por ‘resultados da vida’, eles se referem a fenômenos como se um casal pedirá o divórcio ou qual será a renda futura de um indivíduo.
Em todos esses casos, e como demonstrado por muitas tentativas fracassadas nas ciências sociais de conceber maneiras de prever resultados da vida, a tentativa de fazê-lo se torna um fator no sistema que estamos tentando prever, e a única maneira de evitar isso é negar aos indivíduos sujeitos a tais previsões sua agência para agir de outra forma.
A alternativa é focar na compreensão dos fatores sociais que levam ao divórcio, à renda futura ou a qualquer outro resultado da vida, para que indivíduos e agências relevantes possam aproveitar esse conhecimento para forjar um futuro preferível. Esse é um objetivo mais apropriado para sociedades liberais e também um melhor caso de uso para modelos de IA mais precisos, mas não interpretáveis.
Esses modelos mais poderosos também poderiam ser reconfigurados para apoiar os tomadores de decisão humanos. Em vez de deixar a escolha entre aceitar ou rejeitar uma previsão automatizada, os sistemas de suporte automatizado poderiam ser projetados para ajudar os tomadores de decisão humanos a se tornarem mais eficientes e consistentes em suas deliberações. Por exemplo, tais sistemas poderiam estimular os tomadores de decisão humanos a considerar fatores adicionais ou deixar de lado outros em suas deliberações, fornecer uma análise de como casos semelhantes foram decididos no passado, tanto pelo indivíduo que toma a decisão quanto por seus colegas, e fornecer análises de quaisquer tendências preocupantes no impacto de tais decisões sobre populações vulneráveis.
As implicações disso para o GDPR, a Lei de IA e outras regulamentações semelhantes são que disposições destinadas a salvaguardar a TDA devem limitar decisões totalmente automatizadas a modelos interpretáveis, cuja saída deve incluir uma explicação clara da decisão, e que decisões que afetam circunstâncias em que a agência humana é um fator não devem ser automatizadas. A falha em fazê-lo resultará em muitas mais instâncias de pessoas sendo injustamente alvo ou negadas acesso a bens públicos sem recurso às mesmas salvaguardas que as democracias liberais se apoiaram anteriormente. E dado a pressa em implantar sistemas de IA na administração pública, falhas desse tipo provavelmente irão minar a justiça substantiva e processual das decisões que têm um impacto significativo sobre seus cidadãos.
