Destaques da FINRA sobre Riscos de Supervisão e Casos de Uso para IA Agente em Serviços Financeiros
No dia 27 de janeiro, foi divulgada uma discussão sobre IA agente, descrevendo como as empresas-membro estão começando a experimentar sistemas de IA autônomos e identificando considerações de supervisão associadas a esses primeiros desdobramentos.
Foi observado que, ao contrário das ferramentas de automação tradicionais, os agentes de IA podem operar em múltiplos sistemas e fontes de dados com níveis variados de independência, levantando questões sobre como as estruturas de supervisão e governança existentes se aplicam a ferramentas que podem agir sem input humano contínuo.
Riscos Associados ao Uso de IA Agente
Com base na supervisão de riscos e no engajamento com as empresas-membro, foram identificadas várias áreas de risco associadas ao uso de IA agente. Os principais riscos destacados incluem:
- Riscos de autonomia, escopo e autoridade. Os agentes de IA podem iniciar ações sem validação humana significativa ou agir além do escopo pretendido ou da autoridade do usuário, se os limites e mecanismos de aprovação não forem claramente definidos e aplicados.
- Desafios de auditabilidade e explicabilidade. Processos de raciocínio e tomada de decisão de múltiplas etapas podem dificultar o rastreamento, explicação ou reconstrução do comportamento do agente, complicando a supervisão, testes e revisões pós-incidente.
- Riscos de governança de dados e confidencialidade. Agentes que operam em sistemas e conjuntos de dados podem inadvertidamente armazenar, explorar, divulgar ou usar informações sensíveis ou proprietárias de maneira inadequada.
- Limitações de design de modelo e conhecimento do domínio. Agentes de uso geral podem não ter a especialização necessária para tarefas complexas em serviços financeiros, e objetivos ou mecanismos de reforço mal projetados podem levar a resultados desalinhados com os interesses dos investidores ou do mercado.
- Riscos persistentes de IA generativa. Questões como viés, alucinações e preocupações com a privacidade permanecem presentes e podem ser amplificadas quando sistemas de IA operam com maior autonomia.
Implicações Práticas
A observação da FINRA reitera que as instituições financeiras continuam responsáveis pela supervisão das atividades impulsionadas por IA, mesmo quando as ferramentas operam com significativa autonomia e sem novos requisitos tecnológicos específicos. Instituições que consideram a IA agente devem avaliar se os controles existentes de supervisão, escalonamento, documentação e governança de dados são suficientes para sistemas que podem planejar e agir de forma independente.
