O essencial
- A IA adversarial é a manipulação deliberada de um modelo de machine learning, através das suas entradas, dos seus dados de treino ou dos seus parâmetros, para o levar a errar, a divulgar dados ou a produzir uma saída escolhida pelo atacante.
- As principais famílias de ataque são a evasão, o envenenamento de dados e os ataques à confidencialidade (extração), aos quais se juntam a injeção de prompts e os jailbreaks contra os modelos generativos.
- A robustez deixou de ser opcional: o artigo 15 do Regulamento Europeu de IA exige exatidão, robustez e cibersegurança aos sistemas de risco elevado a partir de 2 de agosto de 2026.
- Uma defesa eficaz combina controlos técnicos (treino adversarial, filtragem de entradas, red teaming) e controlos de governação (um responsável designado, evidências documentadas, uma revisão periódica).
- Trate a IA adversarial como um risco governado dentro do seu sistema de gestão de IA, e não como uma compra de segurança pontual.
O que é a IA adversarial?
A IA adversarial reúne os ataques que visam os sistemas de machine learning explorando a forma como aprendem e decidem. O atacante não força um servidor: apresenta ao modelo dados de aparência comum que o orientam para um resultado errado ou perigoso. A investigação também fala de aprendizagem adversarial (adversarial machine learning), e as duas expressões designam o mesmo campo. O exemplo adversarial é a sua ilustração mais clara. Uns quantos autocolantes num sinal de stop, ou um punhado de pixels alterados numa imagem, bastam para que um modelo de visão muito preciso leia o sinal como um limite de velocidade. A alteração escapa muitas vezes ao olho humano, mas inverte a saída do modelo. É precisamente essa distância entre a perceção humana e a perceção da máquina que qualquer ataque adversarial explora. O que distingue estes ataques da pirataria clássica é o alvo. A cibersegurança tradicional protege código, redes e credenciais. A IA adversarial ataca a lógica estatística do modelo: os dados de que aprendeu, as fronteiras que traça entre classes e a confiança que deposita nas suas próprias respostas. Para uma organização que usa IA no recrutamento, no crédito, na triagem médica ou na deteção de fraude, essa lógica concentra ao mesmo tempo o valor e o risco. O campo dispõe agora de uma referência oficial. A publicação NIST AI 100-2e2025, de março de 2025, é a taxonomia de referência dos ataques e das mitigações na aprendizagem adversarial. Se está a construir um programa de gestão de risco de IA, é o documento com que alinhar os seus controlos.
Como funcionam os ataques de IA adversarial
A maioria dos ataques segue uma trajetória reconhecível. Primeiro o atacante estuda o sistema alvo para perceber o que faz e como responde. Depois fabrica uma entrada, uma amostra de treino envenenada ou um prompt manipulado, concebido para desencadear a falha pretendida. Por fim entrega essa carga e observa o resultado, antes de afinar o ataque ou apagar os rastos. A taxonomia do NIST classifica os ataques segundo algumas dimensões práticas, cada uma das quais muda a defesa. A primeira é o objetivo: comprometer a integridade do modelo (forçar uma resposta errada), a sua disponibilidade (degradar o desempenho) ou a sua confidencialidade (extrair dados ou o próprio modelo). A segunda é o acesso: o atacante só pode enviar entradas, ou alcançar também o pipeline de treino. A terceira é o conhecimento. Num ataque de caixa branca o adversário conhece a arquitetura e os pesos, o que facilita criar entradas adversariais. Num ataque de caixa preta quase nada sabe e tem de sondar o modelo a partir de fora. A última dimensão é o momento no ciclo de vida. Os ataques em treino corrompem os dados ou o processo enquanto o modelo é construído. Os ataques em produção manipulam as entradas depois de o modelo estar em serviço. Governar o risco adversarial implica cobrir ambas as extremidades do ciclo, o que torna o inventário dos seus sistemas de IA e das suas fontes de dados um pré-requisito, e não um extra.
Os principais tipos de ataque adversarial
Quatro famílias cobrem a maior parte dos casos atuais. A evasão ocorre na inferência. O atacante perturba uma entrada legítima para que o modelo em produção a classifique mal, embora continue normal para uma pessoa. Um spam que passa o filtro, um malware ajustado para parecer inofensivo ou o sinal de stop adulterado são ataques de evasão. O envenenamento ocorre no treino. O atacante injeta dados corrompidos ou mal rotulados no conjunto de treino, ou altera o modelo durante o ajuste fino, de modo que o modelo terminado transporte um defeito oculto. Uma porta traseira que se comporta normalmente até encontrar um gatilho preciso é um ataque de envenenamento. Os ataques à confidencialidade e de extração visam o segredo. A inferência de pertença revela se um registo específico esteve nos dados de treino. A extração de modelo rouba uma cópia funcional à força de consultas. A inversão reconstrói entradas sensíveis a partir das saídas. A IA generativa acrescenta a sua própria categoria. O NIST AI 100-2e2025 alarga a taxonomia à injeção de prompts (direta e indireta), aos jailbreaks e ao comprometimento da cadeia de fornecimento dos modelos de base. A injeção indireta é particularmente difícil de governar, porque a instrução maliciosa esconde-se em conteúdo que o modelo recupera, e não no que o utilizador escreveu. Para um catálogo completo, o MITRE ATLAS documenta catorze categorias de táticas e mais de oitenta técnicas contra os sistemas de IA.
Exemplos concretos de IA adversarial
A IA adversarial não é uma curiosidade de laboratório. Os investigadores mostraram repetidamente que pequenas alterações físicas nos sinais de trânsito podem enganar os modelos de perceção dos sistemas de assistência à condução, transformando um stop num sinal ignorado. As consequências de uma evasão nesse contexto são evidentes. O envenenamento tem um histórico igualmente vasto. Chatbots públicos que aprendem das interações foram levados a comportamentos ofensivos em questão de horas por entradas maliciosas coordenadas, prova de que um ciclo de retroação aberto é uma superfície de ataque. A IA generativa alargou o alvo. Investigadores de segurança divulgaram o EchoLeak, uma injeção de prompt indireta contra o Microsoft 365 Copilot capaz de exfiltrar dados sem qualquer ação invulgar do utilizador, mostrando que os assistentes baseados em recuperação herdam a confiança depositada no conteúdo que leem. E é já uma questão de escala: o CrowdStrike 2026 Global Threat Report assinala que, em 2025, os atacantes abusaram de ferramentas de IA generativa legítimas em mais de noventa organizações. Estas técnicas pertencem ao mesmo registo de riscos que qualquer outra ameaça relevante.
Porque a IA adversarial é um problema de governação, não apenas de segurança
A maioria dos artigos fica-se pelas defesas técnicas. É um erro, porque a robustez adversarial passou da boa prática à obrigação legal. O artigo 15 do Regulamento Europeu de IA exige aos sistemas de risco elevado um nível adequado de exatidão, robustez e cibersegurança, mantido ao longo de todo o ciclo de vida. O considerando 76 nomeia explicitamente o envenenamento de dados, os exemplos adversariais, a evasão do modelo e os ataques à confidencialidade como riscos que o prestador deve tratar. Estas obrigações aplicam-se a partir de 2 de agosto de 2026. A pergunta desloca-se, portanto. Já não importa apenas se um modelo pode ser enganado, mas se consegue demonstrar, a um auditor ou a um regulador, que identificou o risco, aplicou controlos proporcionados e provou a sua eficácia. O artigo 15 espera ainda que os prestadores declarem as métricas de exatidão e robustez na documentação técnica: a prova tem de existir no papel. Em Portugal, a CNPD publica orientações que apontam na mesma direção quanto à segurança e à proteção de dados dos sistemas de IA. Outros quadros apontam o mesmo caminho. O NIST AI Risk Management Framework pede para medir e gerir os riscos de forma contínua, e a norma ISO/IEC 42001 define um sistema de gestão de IA com controlos e um inventário de ativos. O fio condutor é a prestação de contas: um responsável nomeado, um controlo documentado, uma revisão repetível. O desfasamento é real: em 2025, cerca de 83 por cento das organizações planeavam adotar IA agêntica, mas apenas 29 por cento se consideravam preparadas para o fazer em segurança.
Como defender-se da IA adversarial
Uma defesa eficaz combina duas camadas que muitas equipas tratam em separado. A camada técnica reduz a superfície de ataque do modelo. O treino adversarial expõe o modelo a exemplos adversariais durante o desenvolvimento para que aprenda a resistir-lhes. O pré-processamento e a higienização das entradas removem as perturbações prováveis antes de chegarem ao modelo. Os testes de robustez e o red teaming, incluindo os testes adversariais documentados para os sistemas generativos, sondam o modelo como faria um atacante. A monitorização de anomalias observa as entradas e as pontuações de confiança em tempo real, e um controlo de acesso rigoroso limita quem pode consultar ou afinar o modelo. A camada de governação decide se esses controlos são de facto aplicados, provados e mantidos. O mapeamento de controlos da AI Sigil formula cada risco como prevenção, deteção e resposta. Para as entradas adversariais, isso significa prevenção através de treino adversarial e red teaming, deteção através de monitores de anomalias e de confiança, e resposta através de alertas, contesão e correção do modelo. Ao ligar estas ações às mitigações do NIST AI 100-2e2025 e às técnicas do MITRE ATLAS, uma lista de ameaças torna-se um conjunto de controlos auditáveis alojado na sua plataforma de governação. Nenhuma ferramenta isolada resolve isto: a robustez governa-se e revê-se como qualquer outro controlo.
Integrar a IA adversarial no programa de governação
Na prática, trata-se de dar à IA adversarial um lugar no modelo operacional em vez de uma menção num diapositivo. Comece por inscrever o risco adversarial no registo de riscos de IA e por classificá-lo segundo a criticidade de cada sistema: um modelo antifraude ou de triagem merece mais escrutínio do que um chatbot interno. Designe um único responsável e ligue-lhe os controlos de prevenção, deteção e resposta, com os testes que cada sistema deve passar. Recolha as evidências à medida: resultados dos testes adversariais, métricas de robustez, registos de monitorização e incidentes, exatamente a documentação que o artigo 15 espera. Defina por fim uma cadência de revisão, porque um modelo robusto no lançamento desvia-se, e novas técnicas surgem sem cessar. É aqui que um sistema de gestão de IA mostra o seu valor. Fazê-lo em folhas de cálculo espalhadas por dezenas de modelos não escala e deixa lacunas que um auditor há de encontrar. Uma plataforma que mantém o inventário, os riscos, os controlos e as evidências numa única estrutura ligada é o que permite demonstrar, quando pedido, que a IA adversarial é governada e não apenas notada.
Perguntas frequentes
O que é a IA adversarial? A IA adversarial é a manipulação deliberada de um modelo de machine learning para o fazer falhar ou dobrá-lo a favor de um atacante. Este fabrica entradas, envenena dados ou explora prompts para que o modelo classifique mal, divulgue informação ou produza saídas nocivas, quase sempre sem sinais visíveis para um observador humano. O que é um exemplo adversarial? Um exemplo adversarial é uma entrada alterada apenas o suficiente para enganar um modelo sem deixar de parecer normal aos olhos humanos. Uma foto com pixels ligeiramente alterados, ou um sinal de stop com pequenos autocolantes, pode levar um modelo muito preciso a uma resposta errada. É a forma clássica de um ataque de evasão. Em que difere um ataque de envenenamento de uma evasão? A diferença está no momento. O envenenamento corrompe os dados ou o modelo durante a sua construção, plantando um defeito que é entregue com o modelo terminado. A evasão deixa o modelo intacto e manipula, em vez disso, uma entrada em produção para desencadear uma classificação errada. É possível evitar por completo os ataques adversariais? Não. Nenhum controlo isolado elimina o risco adversarial, porque defesas e ataques evoluem em conjunto. O objetivo realista é aumentar o seu custo e reduzir o seu impacto com controlos em camadas, treino adversarial, monitorização, red teaming e um processo de governação que deteta, trata e aprende com os incidentes. A IA adversarial está abrangida pelo Regulamento Europeu de IA? Sim. O artigo 15 exige aos sistemas de risco elevado serem exatos, robustos e ciberseguros ao longo de todo o ciclo de vida, e o considerando 76 nomeia explicitamente o envenenamento de dados, os exemplos adversariais e a evasão do modelo. Estas obrigações aplicam-se a partir de 2 de agosto de 2026. Qual é a diferença entre IA adversarial e aprendizagem adversarial? No uso corrente, nenhuma. A aprendizagem adversarial é o termo técnico do campo de investigação, e a IA adversarial a etiqueta mais ampla usada em contextos de negócio e segurança. Ambos designam ataques que exploram a forma como os modelos aprendem e preveem.
Conclusão
A IA adversarial é o ponto onde a cibersegurança encontra a governação da IA. As famílias de ataque, evasão, envenenamento, extração e injeção de prompts, estão bem documentadas, e as defesas técnicas são conhecidas. O que separa as organizações expostas das resilientes é o governo do risco: um responsável, controlos, evidências oponíveis a um auditor. Com o artigo 15 do Regulamento Europeu aplicável a partir de agosto de 2026, tornou-se um requisito de conformidade tanto quanto de segurança. Trate a IA adversarial como um risco gerido dentro da sua plataforma de governação de IA, e transformará uma ameaça em movimento num risco controlado.