Mitigando a nova fronteira de risco da IA: Unificando a cibersegurança empresarial com a segurança da IA
Estamos vivendo tempos empolgantes para a IA. As empresas estão mesclando as capacidades da IA com dados empresariais para oferecer melhores resultados para funcionários, clientes e parceiros. No entanto, à medida que as organizações incorporam a IA mais profundamente em seus sistemas, esses dados e infraestruturas tornam-se alvos mais atraentes para cibercriminosos e outros adversários.
A IA generativa (gen IA), em particular, introduz novos riscos ao expandir significativamente a superfície de ataque de uma organização. Isso significa que as empresas devem avaliar cuidadosamente as potenciais ameaças, vulnerabilidades e os riscos que elas trazem para as operações comerciais. Implementar a IA com uma postura de segurança forte, em conformidade com regulamentações e de uma forma mais confiável, requer mais do que defesas improvisadas; exige uma mudança estratégica. A segurança não pode ser uma reflexão tardia — deve ser incorporada a toda a estratégia de IA.
Segurança da IA vs. Segurança da IA
A segurança da IA e a segurança da IA são conceitos relacionados, mas distintos. Ambos são necessários para reduzir riscos, mas abordam desafios diferentes.
Segurança da IA
A segurança da IA foca na proteção da confidencialidade, integridade e disponibilidade dos sistemas de IA. O objetivo é prevenir que atores maliciosos ataquem ou manipulem esses sistemas. As ameaças podem surgir de:
- Exploração de vulnerabilidades em componentes de software;
- Sistemas mal configurados ou autenticação quebrada que permitem acesso não autorizado a dados sensíveis da empresa;
- Injeção de prompt ou “jailbreaking” de modelos.
Em outras palavras, a segurança da IA se assemelha à segurança tradicional de TI, mas aplicada a novos tipos de sistemas.
Segurança da IA
A segurança da IA ajuda a manter o comportamento pretendido dos sistemas de IA, mantendo-os alinhados com as políticas da empresa, regulamentações e padrões éticos. Os riscos aqui não dizem respeito ao comprometimento do sistema, mas ao que o sistema produz. Questões de segurança incluem:
- Linguagem prejudicial ou tóxica;
- Bias ou discriminação nas respostas;
- Alucinações (respostas plausíveis, mas falsas);
- Recomendações perigosas ou enganosas.
Uma falha de segurança pode erodir a confiança, causar danos à reputação e até criar responsabilidades legais ou éticas.
Exemplos de riscos de segurança e segurança
Segurança da IA:
- Problemas de segurança de memória: componentes de software de inferência e outros podem ser vulneráveis a problemas tradicionais de segurança de memória.
- Configurações inseguras: o servidor MCP de uma ferramenta está exposto à Internet sem autenticação.
- Autenticação ou autorização quebrada: é possível acessar a funcionalidade do servidor MCP usando um token de usuário em vez de um token específico e limitado para o cliente MCP.
- Malware: ataque à cadeia de suprimentos onde um código malicioso é adicionado a um modelo de código aberto confiável.
Segurança da IA:
- Bias: as respostas do modelo discriminam um grupo social com base em características pessoais.
- Alucinação: o modelo inventa respostas que não são baseadas em fatos.
- Respostas prejudiciais: o modelo fornece respostas que podem causar danos aos usuários.
- Linguagem tóxica: as respostas do modelo contêm conteúdo ofensivo ou abusivo.
A nova fronteira de risco: Desmistificando a “segurança”
Embora a segurança fundamental seja crítica, os grandes modelos de linguagem (LLMs) introduzem um domínio adicional de risco: a segurança. Diferente do uso tradicional do termo, em contextos de IA, a segurança significa confiabilidade, equidade e alinhamento ético.
Uma falha de segurança pode expor dados sensíveis, enquanto uma falha de segurança pode produzir recomendações de contratação tendenciosas, respostas tóxicas em um chatbot de atendimento ao cliente ou outras saídas que minam a confiança.
Isso ocorre porque os LLMs são treinados para prever a “próxima palavra” com base em dados de treinamento, não para distinguir entre verdade e falsidade. Eles também tentam responder a todas as perguntas, mesmo aquelas para as quais não foram treinados. Essa natureza não determinística resulta em respostas imprevisíveis.
Deveria o modelo de IA receber toda a atenção?
Os modelos de IA frequentemente atraem a atenção, mas são apenas um componente de um sistema de IA mais amplo. Na verdade, componentes não relacionados à IA (servidores, APIs, camadas de orquestração) frequentemente compõem a maior parte do sistema e trazem seus próprios riscos.
A abordagem correta é uma estratégia de defesa em profundidade — fortalecer as práticas de segurança empresarial existentes e adicionar proteções adicionais para os novos riscos que a IA generativa introduz.
Unificando a segurança da IA com a cibersegurança empresarial
A segurança da IA não se trata de reinventar a roda. Os mesmos princípios que sustentam a segurança empresarial tradicional também se aplicam aqui. Na verdade, seus investimentos existentes em cibersegurança são a base de sua postura de segurança da IA.
A segurança é tudo sobre gerenciar riscos — reduzindo a chance de uma ameaça se materializar e minimizando seu impacto se isso ocorrer. Isso significa:
- Modelagem de risco para identificar e priorizar riscos relacionados à IA;
- Teste de penetração para medir a robustez;
- Monitoramento contínuo para detectar e responder a incidentes.
A clássica triade CIA (Confidencialidade, Integridade, Disponibilidade) ainda se aplica, quer o sistema seja impulsionado por IA ou não. Para fortalecer a segurança da IA, as empresas devem estender práticas comprovadas, incluindo:
- Ciclo de vida de desenvolvimento de software seguro (SDLC): integrando segurança em cada fase.
- Cadeia de suprimentos segura: avaliando cada modelo, biblioteca e contêiner para proteger contra vulnerabilidades ou código malicioso.
- Ferramentas SIEM (Gerenciamento de Informações e Eventos de Segurança) e SOAR (Orquestração, Automação e Resposta à Segurança): monitorando entradas, estresse do sistema e possível exfiltração de dados.
As empresas também devem integrar o risco da IA em estruturas de governança existentes, como um Sistema de Gestão de Segurança da Informação (ISMS), em vez de criar programas de IA independentes. Ao tratar a segurança da IA como uma extensão de sua postura existente, você pode aproveitar as mesmas habilidades, ferramentas e processos para cobrir a maioria dos riscos de forma mais eficaz.
Avançando
Resumindo, as empresas devem adotar uma abordagem holística para a segurança e segurança da IA. Estruturas destacam a necessidade de gerenciamento de risco integrado, combinando segurança, governança e conformidade com salvaguardas específicas da IA.
O ponto principal é que a IA traz enormes oportunidades, mas também riscos únicos. Unificando a segurança da IA com suas práticas estabelecidas de cibersegurança e adicionando medidas de segurança, as empresas podem construir sistemas mais confiáveis que entregam valor comercial.
Conclusão
A segurança da IA e a segurança da IA são dois lados da mesma moeda — uma focada em proteger sistemas de ataques, a outra em fortalecer comportamentos responsáveis e confiáveis. As empresas que tratam a segurança e a segurança da IA como parte integrante de sua estratégia de gerenciamento de riscos estarão melhor posicionadas para desbloquear o valor comercial da IA, mantendo a confiança de clientes, funcionários e reguladores.
