O essencial
- O risco mais material dos modelos de IA generativa é a saída infiel, que o NIST designa formalmente por confabulação e que as equipas operacionais conhecem por alucinação.
- A alucinação domina por duas razões: é o modo de falha mais reportado em produção e amplifica qualquer outro risco, porque um texto fluente mas falso esconde enviesamentos, fugas de dados e infrações de propriedade intelectual até os tornar mais difíceis de detetar.
- A taxonomia de referência defensável é a NIST AI 600-1: doze riscos específicos da IA generativa ou agravados por ela, cada um mapeado nas quatro funções do quadro NIST de gestão de riscos (Govern, Map, Measure, Manage).
- No Regulamento europeu sobre a IA, o mesmo risco surge nos artigos 9.º (sistema de gestão de riscos), 13.º (transparência), 15.º (exatidão, robustez e cibersegurança), 50.º (rotulagem de conteúdo sintético) e nos artigos 53.º e 55.º (obrigações para modelos de IA de uso geral e para os de risco sistémico).
- Um padrão de governação exequível articula-se em quatro camadas: avaliação antes da entrada em serviço, ancoragem por recuperação documental com limiares de confiança, mediação das saídas com presença humana nos fluxos críticos e vigilância após a entrada em serviço com notificação de incidentes.
O risco principal: a saída infiel (alucinação)
Se é preciso reter uma só resposta, fica esta: alucinação, a tendência de um modelo generativo para produzir conteúdo que soa seguro mas se revela factualmente errado, fabricado ou não sustentado por qualquer fonte fornecida ao modelo. O NIST adopta o termo confabulação no perfil dedicado à IA generativa, em parte para sublinhar o carácter estrutural e não acidental do fenómeno: o modelo não mente, faz amostragem de uma distribuição de probabilidade que também atribui massa a enunciados falsos (NIST AI 600-1).
Três razões fazem deste risco o risco dominante em 2026.
A primeira respeita à frequência em produção. A investigação académica que cartografa incidentes reais de IA generativa identifica a saída infiel como o modo de falha mais reportado em sistemas implantados, à frente do enviesamento, da fuga de dados ou da injecção de prompts (arXiv 2505.22073). Vários precedentes funcionam já como jurisprudência implícita no raciocínio dos responsáveis de conformidade: a decisão Air Canada, em que um tribunal canadiano responsabilizou a transportadora por uma política de reembolso inventada pelo seu assistente conversacional; a sanção Mata contra Avianca, através da qual um juiz federal de Nova Iorque sancionou advogados que apresentaram uma peça com seis decisões inteiramente ficcionadas geradas pelo ChatGPT; e os processos australianos de 2024 e 2025 em que advogados foram remetidos para as suas ordens profissionais por citações alucinadas análogas.
A segunda razão é o efeito de composição. Um incidente de enviesamento num sistema determinista manifesta-se como um desvio mensurável nos resultados. O mesmo incidente num modelo que alucina pode ocultar-se dentro de um parágrafo fluente e de aspecto autorizado. O mesmo se passa com a confidencialidade: um resumo infiel de um processo clínico pode inventar um diagnóstico, misturando exposição real e fabricada de dados. A alucinação é o modo de falha que dificulta a auditoria de todos os outros modos de falha.
A terceira razão relaciona-se com o peso regulatório. O Regulamento da UE não usa a palavra alucinação, mas obriga os prestadores de sistemas de IA de risco elevado a conceber os sistemas para alcançarem um nível adequado de exatidão, robustez e cibersegurança e a mantê-lo ao longo de todo o ciclo de vida (artigo 15.º). Os prestadores devem ainda fornecer instruções de utilização que divulguem o desempenho e as limitações conhecidas (artigo 13.º). Para os modelos de uso geral, as obrigações aumentam no artigo 53.º; para os modelos com risco sistémico, o Código de boas práticas GPAI do Serviço europeu para a IA impõe um quadro completo de segurança (Código GPAI, julho de 2025).
Um risco ocupa o título. Doze compõem a estrutura subjacente.
O panorama completo: a taxonomia em 12 categorias do NIST
Por que motivo a NIST AI 600-1 serve de referência
A maioria dos artigos concorrentes enumera oito, dez ou doze riscos sem uma coluna vertebral comum, o que dificulta a comparação e, sobretudo, a operacionalização. A NIST AI 600-1, publicada em 26 de julho de 2024, preenche essa lacuna. Desenvolvida por um grupo de trabalho público com mais de 2.500 contribuintes, identifica 12 riscos específicos da IA generativa ou agravados por ela. Cada risco é imputado às quatro funções do subjacente NIST AI RMF 1.0 (Govern, Map, Measure, Manage), com mais de 200 ações recomendadas distribuídas entre elas.
Os 12 riscos, mapeados ao Regulamento da UE e ao Top 10 LLM da OWASP
| Risco NIST AI 600-1 | Definição breve | Âncora no Regulamento da UE | Equivalente OWASP LLM Top 10 (2025) |
|---|---|---|---|
| CBRN | Redução da barreira de acesso a capacidades químicas, biológicas, radiológicas ou nucleares | Art. 51.º, 55.º (GPAI com risco sistémico) | (nenhum) |
| Confabulação (alucinação) | Geração segura mas infiel de factos, citações ou código | Art. 13.º, 15.º | LLM09 Desinformação |
| Conteúdos perigosos, violentos ou de ódio | Saídas que incitam, ensinam ou normalizam o dano | Art. 5.º, 50.º | LLM05 Tratamento inadequado das saídas |
| Proteção de dados | Memorização e divulgação de dados pessoais ou sensíveis | Art. 10.º, 26.º e RGPD | LLM02 Divulgação de informação sensível |
| Impactos ambientais | Pegada energética, hídrica e de carbono do treino e da inferência | Considerando 142, art. 53.º(1)(d) | (nenhum) |
| Enviesamento prejudicial e homogeneização | Desvio sistemático segundo atributos protegidos | Art. 10.º, 15.º, 27.º | (parcial, LLM09) |
| Configuração humano-IA | Níveis de automatização mal calibrados e dependência excessiva | Art. 14.º (supervisão humana) | LLM06 Agência excessiva |
| Integridade da informação | Conteúdos mediáticos fabricados, deepfakes, desinformação sintética em escala | Art. 50.º (rotulagem de conteúdo sintético) | LLM09 Desinformação |
| Segurança da informação | Superfícies de ataque próprias da IA, incluindo as baseadas em prompts | Art. 15.º(5) cibersegurança | LLM01 Injeção de prompts, LLM04 Envenenamento de dados e modelos |
| Propriedade intelectual | Violações nos dados de treino e reproduções nas saídas | Art. 53.º(1)(c) resumo dos dados de treino | LLM03 Cadeia de fornecimento |
| Conteúdos obscenos, degradantes ou abusivos | CSAM, imagens íntimas não consentidas, material de abuso | Art. 5.º e regulamento CSAM | LLM05 Tratamento inadequado das saídas |
| Cadeia de valor e integração de componentes | Propagação do risco do fornecedor do modelo de fundação até ao implantador | Art. 25.º, 53.º | LLM03 Cadeia de fornecimento |
A tabela cumpre duas funções ao mesmo tempo. Para uma equipa ancorada nos Estados Unidos preserva o vocabulário NIST já em uso. Para uma equipa ancorada na Europa mostra qual obrigação do regulador se associa a cada risco. A coluna OWASP estabelece a ponte com os arquitetos de segurança, que adotam habitualmente o LLM Top 10 v2025 como língua partilhada.
Como usar a tabela para priorizar
A taxonomia não é uma lista de verificação. O trabalho real está na priorização. Para cada risco, coloque duas perguntas: quão provável é essa falha dada a sua arquitetura e contexto de implantação, e quão grave é a consequência se ocorrer. Um assistente de apoio à decisão clínica deve priorizar confabulação, enviesamento prejudicial e configuração humano-IA. Um assistente de geração de código deve priorizar confabulação, segurança da informação e propriedade intelectual. Um chatbot dirigido ao público em geral deve priorizar conteúdos perigosos, integridade da informação e proteção de dados. A taxonomia permite a cada equipa partir do mesmo vocabulário e chegar a ordens de prioridade distintas.
O que torna diferente o perfil de risco da IA generativa
Três propriedades da IA generativa invalidam as hipóteses sobre as quais assenta a gestão de riscos aplicacional clássica.
Escala e velocidade. Um único prompt produz conteúdo à escala da Internet. Um assistente de clientes mal configurado pode publicar milhares de compromissos de reembolso incorretos antes que alguém dê conta, como a Air Canada experimentou. O raio de impacto de uma má implantação deixou de estar limitado pelo volume de utilizadores e passou a estar limitado pelo volume de geração.
Saídas estocásticas. O software clássico dispõe de um oráculo de teste determinístico: dada uma entrada, a saída correta está fixada e é verificável. Os modelos generativos amostram de uma distribuição. O mesmo prompt produz saídas diferentes entre execuções, e o mesmo modelo comporta-se de forma diferente após um ajuste de rotina. A propriedade quebra os testes unitários, os testes de não regressão e a maioria dos critérios de aceitação escritos para software determinístico. A avaliação deve passar de «a saída é igual a X» para «a saída mantém-se dentro de uma distribuição aceitável», pergunta mais difícil de instrumentar.
Capacidades emergentes e opacidade da cadeia de valor. Podem surgir em grande escala comportamentos ausentes dos dados de treino, por vezes sem aviso entre versões. Em paralelo, a responsabilidade é estratificada: um fornecedor de modelo de fundação treina-o, um integrador afina-o e encapsula-o, um implantador coloca-o frente aos utilizadores. O Regulamento da UE governa essa cadeia através do artigo 25.º e das obrigações GPAI do artigo 53.º, mas na prática o implantador permanece proprietário da falha visível ao utilizador. O Código GPAI traça uma linha adicional no limiar sistémico de 10^25 operações em vírgula flutuante para o treino, acima do qual os fornecedores devem manter um Quadro de Segurança e Proteção com avaliações de modelo e exercícios de red teaming.
Governar o risco dominante: um padrão em quatro camadas
Uma postura de governação defensável para o risco dominante encaixa nas funções Measure e Manage do quadro NIST e nos artigos 9.º, 14.º, 15.º, 17.º e 72.º do Regulamento da UE.
Camada 1: avaliação antes da entrada em serviço
Antes de um sistema generativo chegar aos utilizadores, deve passar por um conjunto de avaliações documentadas que cubra os modos de falha esperados. Para a confabulação, isso significa adotar referências dedicadas (TruthfulQA, HaluEval, avaliações de domínio construídas sobre a sua própria verdade de base), prompts de red team concebidos para provocar citações fabricadas e testes adversariais inspirados nas técnicas do MITRE ATLAS. O NIST AI RMF Playbook descreve a função Measure em termos operacionais; o artigo 15.º do Regulamento da UE codifica o dever ao exigir que os sistemas de risco elevado sejam concebidos e desenvolvidos para atingir um nível adequado de exatidão, robustez e cibersegurança (artigo 15.º).
Camada 2: ancoragem por recuperação documental e limiares de confiança
O padrão arquitetónico que reduz de forma mais fiável a alucinação em tempo de execução é a geração aumentada por recuperação com ancoragem estrita. O modelo é obrigado a responder a partir de documentos recuperados, com citação explícita, e a abster-se quando a confiança da recuperação desce abaixo de um limiar configurado. O modo de falha passa de «responder mal» a «recusar responder», transição muito menos onerosa de operar. O limiar de confiança é ainda um dos poucos padrões que satisfazem o dever de transparência do artigo 13.º, que exige que o desenho permita aos utilizadores interpretar adequadamente a saída do sistema.
Camada 3: mediação das saídas
Em fluxos críticos, a recuperação não basta. A mediação acrescenta uma camada de validação entre o modelo e o utilizador: um segundo modelo verifica a saída do primeiro, um validador baseado em regras impõe restrições estruturais, ou uma pessoa revisa a saída antes da sua execução. A escolha do ponto de mediação depende do impacto. Decisões clínicas, jurídicas e financeiras exigem uma pessoa no ciclo. Saídas informativas podem aceitar apenas controlos automatizados. A escolha materializa o artigo 14.º (supervisão humana): os prestadores devem conceber os sistemas de risco elevado para que pessoas singulares possam supervisioná-los com eficácia e prevalecer sobre as suas saídas. Em Portugal, a CNPD tem divulgado orientações sobre tratamentos automatizados que devem ser lidas em conjunto com este artigo na fase de desenho.
Camada 4: vigilância após a entrada em serviço e notificação de incidentes
As camadas 1 a 3 não captam o desvio que só emerge após a entrada em serviço, quando os prompts divergem do conjunto de avaliação e os utilizadores descobrem casos-limite não antecipados. O artigo 72.º do Regulamento da UE codifica a vigilância pós-comercialização e o artigo 73.º fixa as obrigações de notificação de incidentes graves. A definição de trabalho da OCDE de incidente de IA fornece vocabulário partilhado (OECD AI Paper No. 16), e a função Manage do quadro NIST enumera as práticas operacionais: avaliação contínua contra referências rolantes, ciclos de retorno dos utilizadores, deteção de anomalias nas distribuições de entrada e um processo maduro de resposta a incidentes, propriedade de uma função nomeada na organização.
Perguntas frequentes
Quais são os quatro tipos de risco de IA? A divisão em quatro mais citada apoia-se nas características de IA confiável do quadro NIST. As funções Govern, Map, Measure e Manage descrevem o ciclo de vida, enquanto as características de confiabilidade agrupam os riscos em quatro categorias práticas: riscos de segurança e proteção, riscos de equidade e enviesamento, riscos de transparência e responsabilidade, e riscos de proteção e governação de dados. Outras taxonomias (OCDE, categorias de risco do Regulamento da UE, ISO 23894) partem de cortes diferentes. Para a tomada de decisão operativa, a taxonomia mais fina em 12 riscos da NIST AI 600-1 continua mais útil do que qualquer modelo de quatro recipientes.
Qual é a preocupação principal no uso da IA generativa? A preocupação principal é a saída infiel: o modelo devolve uma resposta segura que é falsa, fabricada ou não suportada por evidência. As consequências concretas vão da responsabilidade civil quando um assistente deturpa a política empresarial, às sanções profissionais quando citações fabricadas chegam a peças judiciais, ao dano reputacional quando conteúdo sintético é confundido com reportagem autêntica, até ao dano clínico ou financeiro quando uma recomendação alucinada é seguida. A preocupação não é teórica: os precedentes documentados incluem já o caso Air Canada e a sanção Mata contra Avianca.
Que preocupação se associa especificamente à IA generativa no desenvolvimento de software? A preocupação mais aguda no desenvolvimento de software é a geração de código inseguro. Os assistentes de codificação produzem com facilidade fragmentos que importam bibliotecas obsoletas, codificam credenciais em duro, omitem a validação de entradas ou reproduzem padrões vulneráveis memorizados dos dados de treino. A OWASP enquadra a família em LLM05 Tratamento inadequado das saídas e LLM01 Injeção de prompts; o NIST SP 800-218A estende o Secure Software Development Framework ao desenvolvimento assistido por IA. Os controlos concretos incluem revisão obrigatória do código gerado por IA, varrimento de segredos, verificação de dependências e padrões de recusa quando se pede ao assistente código crítico em segurança.
Como regula o Regulamento da UE especificamente a IA generativa? O Regulamento da UE aborda a IA generativa em três planos. O artigo 50.º fixa obrigações de transparência para conteúdos sintéticos (rotulagem de deepfakes, marcas legíveis por máquina). O artigo 53.º define as obrigações de base para os fornecedores de modelos de uso geral: documentação técnica, política de direitos de autor, resumo dos dados de treino e assistência aos fornecedores a jusante. O artigo 55.º acrescenta deveres para os modelos de uso geral com risco sistémico: avaliações de modelo, testes adversariais, notificação de incidentes graves ao Serviço europeu para a IA e cibersegurança. O Código GPAI operacionaliza os artigos 53.º e 55.º para os fornecedores acima do limiar de treino de 10^25 FLOPs.
Qual a diferença entre enviesamento e alucinação? O enviesamento é um desvio sistemático das saídas segundo atributos protegidos ou grupos: o modelo tende a recomendar mais um candidato masculino, a reconhecer pior um rosto de pele escura, a produzir mais um estereótipo. A alucinação é a geração infiel: o modelo inventa uma citação, uma política de reembolso, uma pessoa, um processo. Ambos figuram na NIST AI 600-1 como riscos distintos e exigem remédios diferentes: o enviesamento aborda-se pela curadoria dos conjuntos de dados, avaliações de equidade e auditorias de resultados; a alucinação aborda-se pela ancoragem por recuperação, limiares de confiança e mediação das saídas.
Existem quadros de governação pensados especificamente para a IA generativa? Sim. Os quatro mais operacionais são NIST AI 600-1 (Estados Unidos, julho de 2024), o Código de boas práticas GPAI (União Europeia, julho de 2025), OWASP Top 10 for LLM Applications (indústria, novembro de 2024) e MITRE ATLAS (indústria, em evolução). NIST AI 600-1 é a taxonomia canónica com o catálogo de ações. O Código GPAI operacionaliza o Regulamento da UE para fornecedores de uso geral. A OWASP fornece a lista de vulnerabilidades do lado do programador. O MITRE ATLAS cataloga as técnicas adversariais. Combinados, cobrem taxonomia, operacionalização regulatória, segurança aplicacional e modelação de ameaças.
Modelos maiores resolverão a alucinação? Provavelmente não por simples escala. Os modelos maiores reduzem certos tipos de alucinação e amplificam outros, sobretudo afirmações seguras em domínios sub-representados durante o treino. A posição académica séria em 2025 sustenta que a alucinação é intrínseca à geração autorregressiva e deve ser governada ao nível do sistema, através de ancoragem, mediação e vigilância, em vez de esperada ao nível do modelo (arXiv 2504.08526).
Conclusão
Se precisa de uma só resposta para levar a um exame, a uma reunião de direção ou a uma avaliação de fornecedores, eis a resposta: o principal risco dos modelos de IA generativa é a saída infiel, também chamada alucinação ou confabulação. Se precisa de defender essa resposta ou de a operacionalizar, encontrará sob ela um panorama de doze riscos na taxonomia NIST AI 600-1, cada um ancorado em artigos concretos do Regulamento da UE e governável através de um pequeno conjunto de padrões arquitetónicos compreendidos. O erro frequente consiste em tratar os riscos um a um. A oportunidade consiste em adotar uma taxonomia, mapeá-la numa biblioteca de controlos e executar o padrão em quatro camadas num ciclo de melhoria contínua.
Na AI Sigil entregamos um registo de riscos pré-mapeado para a NIST AI 600-1 e para as obrigações de risco elevado e GPAI do Regulamento da UE, com controlos por categoria e recolha de evidências pronta para auditoria. O risco é uma parte do trabalho. A outra parte consiste em mantê-lo sob governo.