Da contaminação de dados aos agentes de IA: A próxima onda de ameaças cibernéticas
As ferramentas de inteligência artificial (IA) estão se espalhando rapidamente por diversas indústrias, oferecendo às organizações novas ferramentas para eficiência, insights e crescimento. No entanto, à medida que a adoção acelera, também aumenta a exposição ao risco cibernético.
Embora a IA possa fortalecer defesas, suas capacidades também estão sendo aproveitadas por cibercriminosos. O Fórum Econômico Mundial relatou um aumento de 223% em aplicações de IA generativa na dark web entre 2023 e 2024. Além disso, uma pesquisa da empresa de treinamento em cibersegurança SoSafe, realizada em março deste ano, descobriu que 87% dos profissionais de segurança enfrentaram um ataque impulsionado por IA contra seus negócios.
Aprendizado de máquina adversarial: Ataques aos modelos de IA
Uma área de grande preocupação é o aprendizado de máquina adversarial, uma família de ciberataques direcionados a modelos de IA em várias etapas de seu desenvolvimento. Destacam-se dois tipos que estão ganhando atenção: ataques de contaminação e ataques de privacidade.
Ataques de contaminação
O data poisoning refere-se a tentativas de interferir nas saídas de um modelo de IA ao adulterar os dados usados para treiná-lo. A contaminação pode ocorrer de forma ativa, quando um hacker ou um insider insere arquivos corrompidos em um conjunto de dados de treinamento, ou passivamente, quando dados contaminados são incorporados sem intenção.
Um exemplo de 2023 mostrou que pesquisadores desenvolveram uma ferramenta para embutir pequenas quantidades de dados corrompidos em obras de arte digital. Esses arquivos eram invisíveis a olho nu e difíceis de detectar por ferramentas automatizadas. Se fossem extraídos e usados no treinamento de IA, poderiam degradar as saídas de um modelo.
Esse tipo de ameaça não é apenas eficaz, mas também barato. Pesquisadores mostraram que poderiam contaminar 0,01% de um conjunto de dados de treinamento popular por apenas $60.
Duas características tornam a contaminação particularmente sistêmica:
- Vulnerabilidade em diversos tipos de modelos – Modelos de processamento de linguagem natural, sistemas de visão computacional e IA generativa podem todos ser comprometidos.
- Concentração de dados de treinamento – Embora existam centenas de milhares de conjuntos de dados, a maioria dos desenvolvedores depende de um pool relativamente pequeno. Alvos desses conjuntos de dados podem comprometer uma ampla gama de modelos de IA.
O aprendizado federado, no qual várias organizações treinam um modelo em conjunto, mantendo a custódia de seus próprios dados, também apresenta riscos, pois se mesmo um participante for comprometido, o modelo compartilhado pode ser corrompido.
Ataques de privacidade
Os ataques de privacidade, por outro lado, visam modelos que já foram treinados e implantados. Esses ataques podem extrair dados sensíveis, revelar detalhes de como um modelo funciona ou até mesmo replicar o próprio modelo.
Os riscos são significativos, pois os modelos de IA costumam conter informações pessoalmente identificáveis, propriedade intelectual e segredos comerciais. Um exemplo de vazamento de dados ocorreu em 2023, quando uma ferramenta de transcrição acidentalmente distribuiu notas de reunião confidenciais para os participantes errados.
Um erro humano amplamente relatado envolveu um funcionário de tecnologia que carregou código fonte proprietário em um chatbot público, o que gerou preocupações significativas entre os CIOs.
No entanto, a governança corporativa permanece desigual. De acordo com uma pesquisa da IBM, apenas 37% das organizações têm alguma governança em torno do uso de IA.
Como a ascensão dos agentes de IA está impulsionando riscos cibernéticos
A terceira categoria de risco são os agentes de IA, também conhecidos como IA agente. Esses sistemas ampliam as capacidades de grandes modelos de linguagem, permitindo que operem de forma autônoma.
Esses agentes podem navegar na web, acessar conjuntos de dados por meio de APIs, escrever e executar código, conduzir transações online e até programar seus próprios sub-agentes. No entanto, essa autonomia acarreta riscos profundos, incluindo erros e alucinações que podem causar vazamentos de dados.
Quanto mais liberdade você der a um agente de IA, maior a chance de ele poder misusar ou expor dados sensíveis, interromper sistemas de negócios ou ser sequestrado por hackers.
Abordando os riscos de IA dos clientes: Dicas para corretores
À medida que esses riscos emergem, os clientes procurarão cada vez mais seus corretores para orientação sobre como gerenciar as exposições de IA e como as coberturas de seguros podem responder.
Especialistas da indústria sugerem que os corretores se concentrem em etapas práticas:
- Pergunte sobre os casos de uso de IA – Incentive os clientes a mapear onde a IA está sendo implantada em suas organizações, desde chatbots de atendimento ao cliente até desenvolvimento de código, para entender os possíveis pontos de exposição.
- Investigue a governança e os controles – Apenas um terço das empresas relata ter políticas de governança de IA. Os corretores podem ajudar os clientes a reconhecer a importância de supervisão formal, incluindo políticas de uso aceitável e treinamento de funcionários.
- Destaque os riscos da cadeia de suprimentos – Muitas ferramentas de IA dependem de conjuntos de dados de terceiros ou modelos de código aberto. Os corretores devem discutir com os clientes como esses fornecedores são avaliados e quais controles existem para monitorar a adulteração.
- Revise cuidadosamente a linguagem da política cibernética – As políticas cibernéticas padrão podem não abordar explicitamente o aprendizado de máquina adversarial, agentes de IA ou vazamentos de dados. Os corretores devem trabalhar com subscritores para esclarecer se e como esses riscos são cobertos.
- Posicione a gestão de riscos como um diferencial – Clientes que podem demonstrar forte governança de IA, higiene de dados e supervisão de fornecedores estão posicionados para receber melhores termos e preços de seguros.
