Novos Riscos da IA: Alucinações e Uso Criminológico em Wall Street

Riscos Emergentes da IA no Setor Financeiro

Recentemente, instituições financeiras como Goldman Sachs, Citigroup e JPMorgan Chase alertaram sobre os novos riscos associados ao uso crescente da inteligência artificial (IA). Esses riscos incluem alucinações de software, problemas de moral entre os funcionários, uso por cibercriminosos, e o impacto de mudanças nas legislações globais.

Preocupações com Alucinações de Software

Um dos principais perigos identificados nos relatórios anuais dos bancos é a possibilidade de modelos de IA falhos ou não confiáveis. Por exemplo, o JPMorgan alertou que a IA pode levar ao deslocamento da força de trabalho, afetando a moral e a retenção de funcionários, além de aumentar a competição por talentos com habilidades tecnológicas.

Impactos na Competitividade

À medida que o setor financeiro adota cada vez mais a IA, também surgem novos desafios. As instituições correm o risco de perder clientes e negócios se não acompanharem os últimos desenvolvimentos em IA. Por outro lado, o uso aumentado da IA também as expõe a risco de ciberataques e uso indevido.

Necessidade de Governança Adequada

Ben Shorten, da Accenture, destacou a importância de ter mecanismos de governança adequados para garantir que a IA seja implementada de maneira segura, justa e protegida. Ele enfatizou que a tecnologia não deve ser vista como uma solução plug-and-play.

Qualidade dos Dados e Modelos

Os bancos estão em risco de testar tecnologias construídas com conjuntos de dados financeiros desatualizados ou tendenciosos. O relatório anual do JPMorgan destacou os perigos associados ao desenvolvimento e à manutenção de modelos com a mais alta qualidade de dados.

Desafios da Integração de IA

A Citigroup mencionou que, ao implementar a IA generativa em partes selecionadas do banco, existem riscos de resultados ineficazes, inadequados ou defeituosos para seus analistas. Isso pode impactar negativamente sua reputação e a confiança de clientes e negócios.

Privacidade de Dados e Conformidade Regulatória

As instituições financeiras enfrentam o desafio de manter a privacidade dos dados e a conformidade regulatória em um ambiente cada vez mais incerto e em rápida evolução. Com a entrada em vigor da Lei de Inteligência Artificial da UE em 2024, que estabelece novas regras para o uso de sistemas de IA, a situação se torna ainda mais complexa.

Conclusão

À medida que os bancos adotam a IA, os cibercriminosos também estão se tornando mais sofisticados em seu uso. Um estudo recente da Accenture revelou que 80% dos executivos de segurança cibernética acreditam que a IA generativa está capacitando os criminosos mais rapidamente do que os bancos podem responder. Portanto, é crucial que as instituições financeiras implementem regras rígidas para evitar problemas relacionados ao uso da IA em um ambiente de trabalho remoto.

More Insights

Fluxos de Trabalho de IA Responsáveis para Pesquisa em UX

A pesquisa de UX é tão forte quanto as decisões humanas que a orientam, e decisões equivocadas podem distorcer os resultados. Com a chegada da IA, é fascinante observar como ela pode acelerar e...

A evolução da IA Agente no setor bancário

A IA agentiva está revolucionando o setor bancário ao automatizar processos complexos e melhorar a experiência do cliente. No entanto, a transparência e a responsabilidade permanecem desafios...

Caminhos para a Governança de IA no ASEAN: Avanços e Desafios

A Associação das Nações do Sudeste Asiático (ASEAN) adota uma abordagem amigável à inovação em inteligência artificial (IA), visando se tornar uma economia digital totalmente integrada. No entanto, os...

O Papel da Inteligência Artificial na Segurança Pública

As agências de aplicação da lei estão cada vez mais utilizando a inteligência artificial (IA) para aprimorar suas funções, especialmente com capacidades de policiamento preditivo. O mercado global de...

Quênia lidera acordo histórico da ONU sobre governança da IA

O Quênia conquistou uma grande vitória diplomática após todos os 193 Estados-Membros das Nações Unidas concordarem unanimemente em estabelecer duas instituições inovadoras para governar a inteligência...