O que os conselhos devem exigir da IA: avaliação, auditoria e garantia
Em um artigo anterior, foi argumentado que a governança da IA vai além da supervisão de alguns projetos tecnológicos e agora abrange garantir que as decisões habilitadas por IA em toda a organização permaneçam alinhadas com a estratégia, apetite ao risco e padrões éticos.
Uma pergunta natural para os conselhos é: além de estabelecer expectativas, como uma organização verifica se seus sistemas de IA estão realmente desempenhando conforme o esperado, de maneira responsável e dentro dos limites definidos?
A resposta reside em três disciplinas relacionadas, mas distintas: avaliação de risco de IA, auditoria de IA e garantia de IA. Conselhos familiarizados com a supervisão financeira acharão a lógica intuitiva. O desafio, e a oportunidade, é aplicar essa mesma disciplina à IA.
Três conceitos distintos, mas relacionados
É útil ser preciso sobre o que cada termo significa, pois muitas vezes são usados de forma intercambiável quando não deveriam ser.
A avaliação de risco de IA é o processo interno pelo qual uma organização identifica, avalia e prioriza os riscos associados aos seus sistemas de IA. Isso pergunta o que poderia dar errado, quão provável é e qual seria o impacto. Esta é a base sobre a qual tudo o mais se apoia. Sem uma avaliação de risco credível, nem a auditoria nem a garantia têm uma linha de base significativa para trabalhar.
A auditoria de IA é o exame independente de se um sistema de IA, ou a estrutura de governança ao seu redor, está em conformidade com padrões, políticas ou requisitos definidos. É um processo baseado em evidências conduzido por uma parte suficientemente independente dos responsáveis pelo sistema em revisão.
A garantia de IA é a conclusão formal, voltada para as partes interessadas, que emerge desse processo de auditoria. É a opinião profissional, emitida por uma parte qualificada e independente, que dá aos conselhos, reguladores, investidores e ao público confiança de que um sistema de IA ou estrutura de gerenciamento de IA atende a um padrão definido.
Fundamentando a garantia de IA
O conceito de garantia independente não é novo para os conselhos. Todo ano, auditores externos examinam as demonstrações financeiras de uma organização e emitem uma opinião; uma conclusão fundamentada em evidências, conduzida sob padrões internacionalmente reconhecidos.
A mesma lógica agora se aplica à IA. Quando uma organização faz uma declaração pública ou regulatória sobre seus sistemas de IA, que são justos, transparentes, em conformidade com um padrão definido ou livres de viés material, a questão é: quem valida independentemente essa afirmação, e sob qual estrutura profissional?
A resposta, para a profissão contábil e de auditoria, é o ISAE 3000, o Padrão Internacional de Compromissos de Garantia emitido pelo Conselho Internacional de Normas de Auditoria e Garantia. O ISAE 3000 governa compromissos de garantia sobre questões que não envolvem informações financeiras históricas.
Implicações para os conselhos
Três implicações práticas seguem deste quadro.
Primeiro, os conselhos devem perguntar se suas organizações realizaram avaliações rigorosas de risco de IA em sistemas materiais. Não um exercício único, mas um processo vivo que é atualizado à medida que os modelos são re-treinados.
Segundo, os conselhos devem distinguir entre auditoria interna e externa de IA. As funções de auditoria interna desempenham um papel crítico, mas os conselhos também devem considerar se uma auditoria independente de terceiros de sistemas de IA materiais é necessária.
Terceiro, à medida que as organizações fazem compromissos públicos sobre suas práticas de IA, os conselhos devem perguntar se esses compromissos são respaldados por garantias credíveis. Afirmar compromissos sem validação independente é, no mínimo, um risco reputacional esperando para acontecer.
Uma profissão ainda em construção
Seria incompleto apresentar essa paisagem sem reconhecer suas limitações atuais. A infraestrutura para a garantia de IA ainda está sendo construída. As competências dos auditores em IA, abrangendo aprendizado de máquina, viés algorítmico e transparência de modelos, ainda não estão uniformemente desenvolvidas.
Para organizações que ainda não estão prontas para buscar garantias formais, isso não é razão para ficar parado. Uma avaliação estruturada e regular de sistemas de IA materiais é um primeiro passo significativo e prático.
Os conselhos que encomendam tais avaliações hoje, mesmo informalmente, estão desenvolvendo a disciplina institucional que a prontidão para a garantia eventualmente exige.
Essa visão destaca a obrigação já existente das empresas como agentes morais com obrigações éticas para com suas partes interessadas. A obrigação de agir já está presente, e o que é necessário é a vontade organizacional para operacionalizá-la.
Os conselhos que se envolvem com a garantia de IA agora, fazem perguntas mais incisivas aos seus auditores e exigem mais do que afirmações da gestão, estarão não apenas reduzindo sua própria exposição, mas também ajudando a moldar o que a responsabilidade em IA deve parecer para as organizações.
