Gerenciamento dos Desafios de Opacidade e Risco dos Modelos de IA
Os modelos de IA, que vão desde chatbots até monitoramento de transações, influenciam decisões que afetam milhões de clientes e bilhões de dólares diariamente. No entanto, muitas instituições financeiras podem não ter conhecimento suficiente sobre esses modelos para cumprir os requisitos de conformidade.
Desafio da opacidade
Os modelos de IA operam de forma fundamentalmente diferente dos modelos tradicionais. Ao contrário de cálculos lineares e rastreáveis, a IA desenvolve sua própria lógica inferencial, que muitas vezes os proprietários do modelo não conseguem explicar ou prever completamente.
Risco de dependência de terceiros
A maioria das instituições financeiras tradicionais utiliza modelos fundamentais de fornecedores externos, em vez de desenvolver modelos próprios internamente. Isso adiciona outra camada de opacidade que torna a validação e o monitoramento tradicionais quase impossíveis.
Implicações regulatórias e de confiança
Reguladores em todo o mundo estão exigindo transparência e controle, apesar dessas limitações. A incapacidade de explicar as decisões da IA compromete a confiança do cliente, complica a conformidade e cria lacunas de governança.
Desafios para instituições financeiras
As instituições financeiras desenvolvem modelos para aprimorar a tomada de decisões, melhorar relatórios financeiros e garantir conformidade regulatória. Esses modelos são utilizados em várias operações bancárias e financeiras, incluindo classificação de crédito, aprovação de empréstimos e gestão de ativos.
Modelos tradicionais, para os quais a gestão de risco de modelos existentes foi escrita, operavam de maneira previsível e linear. Um usuário de modelo poderia inserir dados, rastrear cálculos, validar suposições e prever resultados com confiança relativa. Isso contrasta com algumas aplicações de modelos de IA, especialmente aquelas que utilizam aprendizado profundo, onde os usuários podem não ser capazes de prever seus resultados ou explicar precisamente as inferências do modelo.
Complicações da dependência de terceiros
A maioria das instituições financeiras não constrói seus modelos de IA do zero; em vez disso, elas utilizam modelos fundamentais de empresas que servem como a espinha dorsal para tudo, desde chatbots de atendimento ao cliente até avaliações de risco. Isso cria uma nova dimensão de opacidade. Os bancos não estão apenas lidando com modelos que não conseguem explicar completamente; eles estão utilizando modelos que não construíram originalmente e não controlam totalmente.
Implicações para a gestão de risco de modelos
Como validar um modelo fundamental quando não se tem acesso aos dados de treinamento? Como garantir que ele não produza resultados tendenciosos quando não se pode examinar como inferiu seus dados? Como monitorar a deriva do modelo quando o construtor fundamental pode atualizar o modelo sem aviso?
Quando a gestão de risco tradicional falha
A gestão de risco de modelo tradicional depende de três componentes: validação inicial, monitoramento contínuo e a capacidade de desafiar suposições do modelo. Modelos de IA fundamentais podem interromper todos esses aspectos.
A validação inicial se torna problemática ao validar um sistema que só pode ser observado externamente. Os bancos não lidam apenas com modelos que não podem explicar totalmente; eles utilizam modelos que não construíram e não controlam totalmente.
O monitoramento contínuo enfrenta desafios semelhantes. Se uma instituição depende de um modelo fundamental, ela está sujeita a atualizações que podem alterar o comportamento do modelo de forma imprevisível.
Consequências no mundo real
Os riscos vão além da conformidade regulatória. Quando um modelo gera resultados que só são compreendidos por uma equipe de uma empresa externa, os riscos operacionais podem se acumular. Os representantes de atendimento ao cliente frequentemente precisam explicar por que um sistema de fraude sinalizou uma transação, ou os oficiais de empréstimos devem fornecer razões específicas para a rejeição de um crédito — e a IA de caixa preta torna esses requisitos básicos quase impossíveis.
Buscando soluções
A indústria está respondendo com várias abordagens. Algumas instituições estão exigindo maior transparência dos provedores de IA, negociando acesso à documentação do modelo e métricas de desempenho. Outras estão construindo estruturas de teste para validar modelos de terceiros por meio de análises extensivas de entrada e saída.
Técnicas como SHAP e LIME tentam iluminar decisões de caixa preta, aproximando-se de como os modelos ponderam diferentes fatores. Algumas instituições estão adotando abordagens híbridas, combinando modelos mais simples e interpretáveis com modelos fundamentais complexos para equilibrar desempenho e transparência.
Conclusão
As instituições financeiras devem construir mecanismos de explicabilidade e controle em suas jornadas de IA desde o início. Isso pode exigir equipes multifuncionais de cientistas de dados, gerentes de risco, oficiais de conformidade e especialistas em gerenciamento de fornecedores que possam negociar termos adequados com provedores de IA fundamentais.
Além disso, as instituições precisam de estruturas de governança abrangentes que abordem os desafios únicos dos modelos fundamentais de terceiros. Isso pode incluir uma diligência aprimorada dos fornecedores, monitoramento contínuo, disposições contratuais para transparência do modelo e notificações de atualização, e disposição para renunciar a algumas capacidades de IA quando os riscos não puderem ser gerenciados adequadamente.
