Inteligência Artificial Responsável no Governo: Um Olhar sobre a Aquisição
Nos últimos anos, a utilização de inteligência artificial (IA) por órgãos públicos tem gerado debates acalorados, especialmente em relação à sua responsabilidade e transparência. Um caso emblemático ocorreu em 2018, quando o Departamento de Polícia de Nova Orleans utilizou um software preditivo da Palantir, levando a preocupações sobre viés racial e processos de aprovação obscuros.
O Problema da Aquisição
Como muitas cidades dos EUA, Nova Orleans se baseia em processos públicos de aquisição para contratar fornecedores privados. Porém, a doação do software pela Palantir criou uma brecha nas regras de aquisição, permitindo que o acordo passasse sem a devida supervisão. Sem troca de dinheiro, o contrato não ativou as verificações padrão necessárias, como a aprovação pelo conselho municipal. Isso levantou questões cruciais sobre quem aprova e como são feitas essas decisões.
Pesquisa sobre Práticas de Aquisição
Inspirada por esse incidente, uma equipe de pesquisa composta por acadêmicos de universidades renomadas investigou as práticas de aquisição que moldam as decisões sobre IA no setor público. Através de entrevistas com dezenove funcionários municipais em sete cidades anônimas, descobriram que as práticas de aquisição variam amplamente, influenciando o que é possível em termos de governança de IA.
A Importância da Aquisição
A aquisição desempenha um papel crucial na determinação das decisões sobre IA. Na ausência de regulamentação federal para fornecedores de IA, a aquisição se torna uma das poucas alavancas que os governos têm para promover valores públicos como segurança, não discriminação, privacidade e responsabilidade.
Embora muitos esforços atuais se concentrem em melhorar o processo de solicitação competitiva, muitas aquisições de IA contornam esse processo formal. Isso inclui compras de pequeno valor que não exigem licitação competitiva, o que permite que funcionários comprem ferramentas de IA de baixo custo com cartões de compra governamentais.
Desafios e Oportunidades
A eficiência e a agilidade das aquisições informais criam um desafio significativo para a governança da IA. A questão central é: como os governos locais podem estabelecer normas consistentes de governança de IA quando a maioria das ferramentas é adquirida fora do processo de solicitação formal?
As cidades estão começando a adotar revisões centralizadas que exigem a participação de especialistas em IA treinados para avaliar os riscos associados a cada aquisição. No entanto, cidades com governança descentralizada enfrentam a escolha de treinar departamentos individuais ou reconfigurar fluxos de trabalho existentes para garantir que padrões éticos mínimos sejam atendidos.
Perspectivas Futuras
Os defensores reconhecem há muito tempo o potencial da aquisição pública como um papel de filtro na determinação das tecnologias adquiridas e implantadas. O último ano tem sido especialmente promissor, com governos locais começando a integrar considerações de IA responsável em suas práticas de aquisição. A pesquisa destaca a necessidade de os governos locais abordarem questões críticas, como:
- Como estabelecer processos de supervisão para propostas de IA que possam contornar o processo de solicitação convencional?
- Quem dentro de um governo tem a capacidade e a alavancagem para gerenciar os riscos associados à tecnologia de IA adquirida?
- Como os fluxos de trabalho de aquisição existentes podem ser reestruturados para garantir que as avaliações significativas sejam realizadas?
Embora não haja um modelo único para estruturar processos de aquisição que promovam a governança responsável da IA, este momento oferece uma oportunidade rara para especialistas em políticas, pesquisadores e defensores colaborarem na reformulação da aquisição de IA. A aquisição pública é onde decisões significativas sobre IA no setor público são tomadas, e, para entender por que um sistema de IA é adotado, devemos olhar para como foi adquirido.
