Apetite ao risco na IA: limites, limiares e provas

O essencial

• Um apetite ao risco mais elevado é uma decisão assumida: aceitar mais incerteza para acelerar a adoção da IA. É uma escolha que se regista por escrito, não uma postura de conformidade que se proclama.
• O apetite situa-se dentro da capacidade de risco. A capacidade indica o que a organização conseguiria absorver, o apetite indica o que ela decide assumir.
• O Regulamento europeu da IA fixa patamares que nenhuma declaração atravessa: o artigo 5.º proíbe determinadas práticas por completo e o artigo 9.º exige que o risco residual seja considerado aceitável.
• A norma ISO/IEC 42001 e o NIST AI Risk Management Framework devolvem ambos a decisão de aceitação à organização, por escrito e com um titular designado.
• O apetite ao risco só se torna operacional quando é convertido em limiares medidos, em pontos de controlo do ciclo de vida e em provas verificáveis.

O que significa realmente um apetite ao risco mais elevado

O apetite ao risco designa a quantidade e o tipo de risco que uma organização está disposta a procurar ou a reter. A formulação provém do vocabulário normalizado da ISO (guia ISO 73, reeditado como ISO 31073:2022), e dois dos seus termos suportam todo o peso: disposta, e reter. Descreve uma decisão tomada antecipadamente sobre uma exposição que se pretende conservar em vez de eliminar.

A definição mais rigorosa em circulação continua a ser a que o Conselho de Estabilidade Financeira publicou em 2013, que fala do « nível agregado e dos tipos de risco que uma instituição financeira está disposta a assumir dentro da sua capacidade de risco para alcançar os objetivos estratégicos e o plano de negócios ». Retirado o perímetro bancário, a estrutura mantém-se válida para qualquer organização que utilize IA: um nível agregado, tipos nomeados, um limite imposto pela capacidade e uma justificação dada pelo objetivo. É, de resto, a mesma arquitetura que o Banco de Portugal exige através do quadro de apetite ao risco.

Declarar um apetite ao risco mais amplo significa, por isso, algo mais estreito do que parece. Significa que se aceitou um volume maior de uma exposição definida, ao serviço de um objetivo enunciado, e que se sabe indicar onde passa agora a fronteira. Não significa tolerância a surpresas nem documentação mais leve. Num programa de governação da IA, um apetite mais amplo traduz-se normalmente em circuitos de aprovação encurtados para os sistemas de baixa criticidade, num perímetro de experimentação mais vasto, ou na disponibilidade para entrar em serviço com uma limitação conhecida e divulgada.

Apetite, tolerância, capacidade e limites

Estes quatro termos são usados como sinónimos na maioria dos comités. Não o são.

• A capacidade de risco constitui o teto. O Conselho de Estabilidade Financeira define-a como « o nível máximo de risco que a instituição pode assumir face aos recursos atuais, antes de incumprir as suas restrições ». A capacidade não se escolhe, constata-se.
• O apetite ao risco é o nível em que se decide operar abaixo desse teto.
• A tolerância ao risco designa a variação admissível em torno de um objetivo concreto. O NIST descreve-a como « disponibilidade para suportar o risco a fim de alcançar os seus objetivos ».
• Os limites de risco pertencem à aritmética. O Conselho de Estabilidade Financeira entende-os como « medidas quantitativas, baseadas em pressupostos prospetivos, que alocam a declaração agregada de apetite às linhas de negócio, às entidades jurídicas relevantes, a categorias específicas de risco e às concentrações ».

Um apetite sem limites não passa de um sentimento. Limites sem apetite declarado são arbitrários. É a combinação dos dois que torna uma decisão defensável dezoito meses mais tarde, quando alguém perguntar por que motivo aquele modelo foi autorizado.

Por que a IA quebra a declaração clássica

As declarações de apetite ao risco foram concebidas para exposições quantificáveis em dinheiro. Perdas de crédito, incidentes operacionais, rácios de capital: tudo se reduz a um número, e um número admite limite. A IA resiste a essa redução de quatro maneiras precisas.

Os danos não são denominados em euros. Uma ferramenta de pré-seleção de candidaturas que exclui um grupo protegido produz uma discriminação, não uma rubrica de perda. Não é possível enunciar uma quantidade aceitável de discriminação ilícita, porque essa quantidade é zero. O raciocínio vale para os danos à segurança das pessoas em contextos de saúde ou industriais. Quando o modo de falha assenta nos enviesamentos da IA, a linguagem do apetite deixa de ser útil e a linguagem dos controlos assume o lugar. A CNPD tem sublinhado com constância que os direitos fundamentais não se ponderam contra um ganho de desempenho.

O comportamento deriva depois da decisão. Uma declaração clássica é revista anualmente porque a exposição subjacente se move devagar. O desempenho de um modelo, em contrapartida, segue os dados. Um sistema dentro do apetite em março pode ficar fora dele em setembro sem que uma única linha de código tenha sido alterada.

A opacidade limita o limitável. Não se fixa um limiar sobre uma propriedade que não se mede. Para muitos sistemas em produção, a resposta honesta é que a qualidade das explicações, a robustez face a desvios de distribuição e os modos de falha só são parcialmente observáveis, o que transforma qualquer número demasiado preciso num falso conforto.

Muitas vezes herda-se o apetite de outrem. Quando o modelo é adquirido em vez de construído, as decisões tomadas durante o pré-treino não são as próprias. Quem utiliza IA de finalidade geral absorve o juízo de um prestador a montante sobre qual comportamento é aceitável, com visibilidade limitada sobre a forma como esse juízo se constituiu.

O Institute of Internal Auditors formula sem rodeios a versão organizacional do problema no seu quadro de auditoria da IA: « Having a higher risk appetite in pursuit of AI goals may not be appropriate for an organization that is risk averse in other aspects, whereas organizations with historically high-risk tolerance may be more willing to accept AI-related risks. Regardless of an organization’s risk tolerance, it is essential to recognize and map AI risks during AI strategic planning. » A última frase é a cláusula operativa: o apetite nunca suprime a obrigação de identificar aquilo que se está a aceitar.

Os patamares que nenhum apetite ao risco ultrapassa

Esta é a parte ausente de quase toda a literatura sobre o tema, e é ela que determina se a declaração vai resistir. Em matéria de IA, o apetite não é uma variável livre em toda a sua extensão: o direito corta-lhe a parte inferior.

O artigo 5.º do Regulamento da IA enuncia uma proibição, não um risco. O texto enumera práticas que não podem ser colocadas no mercado nem utilizadas, entre as quais a classificação social por autoridades públicas, a recolha não seletiva de imagens faciais para constituir bases de dados de reconhecimento, a inferência de emoções no local de trabalho e em estabelecimentos de ensino, e certas formas de policiamento preditivo baseadas unicamente na definição de perfis. Estas disposições aplicam-se desde 2 de fevereiro de 2025. Uma prática proibida não é uma exposição que se pondere face a um benefício, é uma atividade que se interrompe. O artigo 99.º, n.º 3, tarifa o erro em até 35 000 000 EUR ou 7 por cento do volume de negócios anual mundial total, se este valor for superior.

O artigo 9.º fixa o teste de aceitação para os sistemas de risco elevado. Para essa classe, o Regulamento exige que « o risco residual pertinente associado a cada perigo, bem como o risco residual global dos sistemas de IA de risco elevado, sejam considerados aceitáveis ». Vale a pena observar o que esta frase faz: não diz onde se situa o aceitável, pelo que o juízo lhe pertence, mas torna esse juízo obrigatório, expresso e imputável.

O artigo 9.º, n.º 5, impõe ainda uma ordem de operações que nenhum apetite ao risco pode reorganizar: eliminar ou reduzir o risco através da conceção e do desenvolvimento na medida do tecnicamente viável, depois aplicar medidas de mitigação e controlo para o que restar, depois prestar informação e formação aos responsáveis pela implantação. A documentação é a última linha de defesa, não um substituto das duas primeiras. Nenhuma organização pode declarar-se mais tolerante e saltar diretamente para a divulgação.

A decisão também não caduca em silêncio. O artigo 9.º, n.º 2, descreve o sistema de gestão de riscos como « um processo iterativo contínuo, planeado e executado ao longo de todo o ciclo de vida de um sistema de IA de risco elevado, que exige uma revisão e atualização sistemáticas regulares ». Para o detalhe destas obrigações, o nosso guia operacional do Regulamento europeu da IA percorre todo o caminho de conformidade.

Onde um apetite mais amplo se aplica legitimamente

Nada disto esvazia o conceito: desloca-o. A margem efetiva reside nos sistemas de risco limitado e de risco mínimo, e nas escolhas operacionais que os rodeiam. Com que rapidez um caso de uso passa a revisão, quanta experimentação interna avança sem avaliação formal, quantos projetos-piloto em paralelo a segunda linha consegue absorver, que imprecisão residual se aceita numa ferramenta interna de sínteses da qual ninguém retira decisões. É aí que um apetite ao risco mais amplo se converte em velocidade, e é aí que a troca é honesta.

O que as normas obrigam a registar

Os dois principais quadros de referência para a IA recusam-se a fixar o seu apetite em seu lugar, e ambos exigem que registe aquele que adotar.

O NIST AI Risk Management Framework é invulgarmente direto neste ponto. A secção 1.2.2 afirma: « While the AI RMF can be used to prioritize risk, it does not prescribe risk tolerance. » E explica logo a razão: « Risk tolerance and the level of risk that is acceptable to organizations or society are highly contextual and application and use-case specific. » Precisa ainda que a tolerância « can be influenced by legal or regulatory requirements », ou seja, exatamente o corte descrito acima. O quadro fecha o ciclo com uma instrução: « Where established guidelines do not exist, organizations should define reasonable risk tolerance. » Não existe, portanto, uma opção neutra. Abster-se de o definir é já uma posição, e uma posição frágil em sede de exame.

A subcategoria GOVERN 1.3 do mesmo quadro reclama em seguida a mecânica: mecanismos de avaliação de impacto, escalas de medição dos impactos potenciais, uma abordagem de medição que combine impacto e probabilidade, escalas de risco uniformes em toda a carteira de IA e o reconhecimento expresso de que a tolerância muda ao longo do ciclo de vida.

A norma ISO/IEC 42001 aborda a questão pelo lado do sistema de gestão. A sua secção 6.1.2 exige estabelecer e manter critérios de risco de IA documentados antes de realizar as avaliações, critérios que incluem os de aceitação do risco. A sequência é o que importa: primeiro os critérios, depois a avaliação, para que os resultados sejam comparáveis entre sistemas e reproduzíveis no tempo. A secção 6.1.3 exige depois um processo de tratamento documentado e, ponto decisivo, a aprovação do risco residual pelos proprietários do risco. Alguém assina. Sobre a articulação com o Regulamento, veja a nossa análise da pilha normativa entre a ISO 42001 e o Regulamento da IA.

Lidas em conjunto, as três fontes convergem para a mesma exigência: registar os critérios, aplicá-los de forma constante, fazer com que um responsável identificado aceite o remanescente, e voltar a ele.

Definir o apetite por sistema, não por empresa

Uma única declaração à escala da empresa não consegue abranger ao mesmo tempo um modelo de decisão de crédito e uma ferramenta interna de atas de reunião. A tentativa produz uma declaração tão genérica que já nada limita, e essa é a falha mais frequente nos programas de governação da IA.

A estrutura que funciona assenta num número reduzido de faixas de apetite, atribuídas por sistema, determinadas primeiro pela classe regulamentar e depois pela exposição própria do caso de uso.

Nível do sistema	Faixa de apetite	O que um apetite mais amplo permite	O que nunca permite
Prática proibida (art. 5.º)	Nenhuma	Nada, a atividade não prossegue	Qualquer utilização, com qualquer apetite
Risco elevado (anexo III ou segurança dos produtos)	Estreita, justificada expressamente	Escolha da via de mitigação, entrada em serviço por fases, limitações residuais divulgadas	Contornar a hierarquia do art. 9.º, n.º 5, risco residual não aprovado, aceitação não documentada
Risco limitado (obrigações de transparência)	Moderada	Ciclos de revisão mais rápidos, projetos-piloto mais amplos, cadência de monitorização reduzida	Omitir a própria obrigação de transparência
Risco mínimo, ferramentas internas	Ampla	Adoção em autosserviço, avaliação mínima, desativação rápida	Utilização não declarada, deslize silencioso para uma cadeia de decisão

Duas observações sobre a utilização desta tabela. Primeiro, o nível é uma propriedade do caso de uso e não do modelo, pelo que o mesmo modelo de base pode aparecer em duas faixas diferentes dentro da mesma empresa. Segundo, a tabela só funciona sobre um inventário completo. Os sistemas que ninguém declarou situam-se por definição fora de qualquer faixa, e é assim que a IA sombra desmonta em silêncio um quadro de apetite: não se pode ter aceitado um risco cuja existência se desconhece.

Converter o apetite ao risco em limiares e controlos

Uma faixa é uma declaração de intenções. O que a torna exigível é uma cadeia de quatro elos, cada um dos quais produz um artefacto.

1. Da faixa à medida. Selecione o indicador que expressa a exposição desse sistema: diferença nas taxas de seleção entre grupos, taxa de falsos negativos numa classe crítica para a segurança, taxa de afirmações materialmente incorretas num conjunto de avaliação por amostragem, taxa de encaminhamento para um revisor humano.
2. Da medida ao limiar. Fixe o número, e fixe dois: um valor de operação e um nível de incumprimento que desencadeie uma ação. Um valor único não fornece qualquer aviso prévio.
3. Do limiar ao ponto de controlo. Vincule o limiar a um ponto de decisão do ciclo de vida, para que possa efetivamente parar algo: autorização prévia à entrada em serviço, bloqueio de lançamento, reatestação periódica. Um limiar que ninguém verifica num ponto de controlo é documentação, não controlo.
4. Do ponto de controlo à prova. Registe a medição, a comparação, a decisão e quem aprovou. É o que uma auditoria de IA vai pedir, e é a única prova durável de que o apetite foi respeitado em vez de apenas proclamado.

Dois mecanismos completam a conceção. O primeiro é uma via de derrogação: um circuito de aprovação definido e situado a um nível suficientemente elevado para operar fora do limiar, com data de caducidade. Os princípios do Conselho de Estabilidade Financeira pressupõem a mesma estrutura através da alocação de limites de risco. Sem uma via de exceção legítima, as equipas contornam simplesmente o quadro.

O segundo é a cadência. Uma vez que o artigo 9.º, n.º 2, trata a gestão de riscos como contínua, os limiares exigem um ritmo de revisão ancorado no comportamento do sistema e não no calendário de auditoria. Quando o controlo é uma pessoa e não um indicador, a questão de conceção desloca-se para a profundidade da supervisão, que tratamos em supervisão humana no ciclo ou sobre o ciclo. Quando a ultrapassagem de um limiar se torna um acontecimento a notificar, assumem o lugar as obrigações de comunicação de incidentes de IA previstas no artigo 73.º

Exemplo prático: da faixa à prova

Um banco coloca em serviço um assistente conversacional dirigido a clientes, que responde a questões sobre produtos sem tomar decisões. O caso de uso recai no risco limitado, aplicam-se obrigações de transparência, e o conselho aprovou uma faixa moderada para ter a ferramenta disponível num trimestre.

1. Indicador escolhido: proporção de afirmações materialmente incorretas sobre produtos numa avaliação por amostragem de 500 questões, executada semanalmente.
2. Limiares fixados: operação abaixo de 1 por cento, incumprimento a 3 por cento.
3. Pontos de controlo vinculados: lançamento bloqueado acima de 1 por cento no arranque; qualquer avaliação semanal superior a 3 por cento desencadeia o recuo automático para um conjunto de respostas predefinidas no dia útil seguinte.
4. Provas produzidas: o ficheiro de avaliação semanal, a comparação com o limiar, o registo dos recuos, e a assinatura do responsável de produto sobre o risco residual no arranque.

A decisão fica assim testável: uma pessoa externa à equipa pode examinar quatro artefactos e determinar se a organização fez o que tinha anunciado.

A quem pertence a decisão

O apetite ao risco falha mais vezes como problema de titularidade do que como problema de método.

O conselho, ou órgão de governo equivalente, fixa-o, porque aceitar risco em nome da organização constitui um ato de governação e não pode ser delegado na equipa que beneficia dessa aceitação. Os princípios do Conselho de Estabilidade Financeira atribuem deveres distintos ao conselho, ao diretor executivo e ao diretor de risco precisamente por esse motivo.

A gestão, primeira e segunda linhas, calibra. Isso consiste em traduzir a faixa em limiares, conduzir as avaliações e operar os pontos de controlo. O quadro do Institute of Internal Auditors reparte estes papéis segundo o seu modelo das três linhas, cabendo à segunda linha responder por saber se os controlos foram concebidos corretamente e funcionam de forma eficaz.

A auditoria interna testa o resultado. Não se o apetite estava certo, o que é um juízo de negócio, mas se o apetite declarado corresponde à exposição efetivamente suportada e se as provas sustentam as aceitações registadas. É essa distância, entre o apetite anunciado e a realidade operacional, que constitui a constatação relevante.

Um aviso prático para terminar. Se ninguém conseguir nomear a pessoa que aceitou o risco residual dos seus três sistemas de IA mais consequentes, não tem um quadro de apetite. Tem um documento.

Perguntas frequentes

O que significa um apetite ao risco mais elevado? Significa que a organização decidiu aceitar um volume maior de um tipo de risco definido para perseguir um objetivo, e deslocou em conformidade a sua fronteira declarada. Em IA, isso compra normalmente velocidade: aprovações mais curtas, projetos-piloto mais amplos ou entrada em serviço com uma limitação divulgada. Não implica menos registos nem se estende às exposições que o direito coloca fora de limites.

Um apetite ao risco elevado é bom? Em si mesmo não é bom nem mau. É adequado quando é deliberado, delimitado, ajustado à capacidade da organização e coerente com o comportamento observado nas restantes áreas da casa. O Institute of Internal Auditors nota que um apetite mais amplo em relação à IA pode não assentar bem numa organização de resto avessa ao risco. A falha não é um apetite elevado, é um apetite não declarado.

Qual é a diferença entre apetite ao risco e tolerância ao risco? O apetite designa o nível agregado e os tipos de risco que se está disposto a assumir numa carteira ou para um objetivo. A tolerância designa a variação admissível em torno de um objetivo ou indicador concreto, opera portanto um nível abaixo e exprime-se habitualmente como intervalo ou limiar. A capacidade é uma terceira noção: o máximo absorvível antes de incumprir restrições rígidas, que se mede em vez de se escolher.

Quais são os níveis de apetite ao risco? A maioria dos quadros usa três ou quatro faixas, frequentemente designadas por avessa, prudente ou conservadora, moderada, e agressiva ou aberta. As etiquetas importam muito menos do que aquilo que cada faixa autoriza. Para os sistemas de IA, a abordagem mais útil consiste em ancorar as faixas aos níveis de sistema, de modo que um sistema de risco elevado tenha uma faixa estreita expressamente justificada, enquanto as ferramentas internas de risco mínimo tenham uma faixa ampla.

O Regulamento europeu da IA exige uma declaração de apetite ao risco? Não com esse nome. O que o artigo 9.º impõe para os sistemas de risco elevado é um sistema de gestão de riscos que abranja o ciclo de vida, no qual o risco residual, perigo a perigo e no seu conjunto, seja considerado aceitável. Emitir esse juízo de forma constante numa carteira é impossível sem critérios de aceitação documentados, que é precisamente o que a secção 6.1.2 da norma ISO/IEC 42001 exige diretamente. Na prática, das duas obrigações nasce um objeto que funciona como uma declaração de apetite.

Com que frequência deve o apetite ao risco em IA ser revisto? A faixa em si pode seguir o ciclo anual de governação. Os limiares que a sustentam não, porque o comportamento dos modelos muda entre duas revisões. Ancore a revisão dos limiares nas provas do sistema: uma cadência de avaliação estabelecida, qualquer alteração substancial aos dados ou à versão do modelo, qualquer ultrapassagem de limiar e qualquer mudança de classificação regulamentar. O NIST faz a mesma observação ao notar que a tolerância e os níveis de risco podem mudar ao longo do ciclo de vida de um sistema de IA.

Conclusão

Um apetite ao risco mais amplo constitui uma posição estratégica legítima, e os programas de IA que se recusam a enunciar um tomam de qualquer modo as mesmas decisões, apenas sem deixar registo. O que separa um apetite defensável de um slogan é a cadeia que o segue: uma faixa nomeada por sistema, um indicador, dois limiares, um ponto de controlo capaz de parar algo, e um aprovador cujo nome consta no risco residual. O Regulamento europeu da IA, a norma ISO/IEC 42001 e o NIST AI Risk Management Framework convergem para essa mesma cadeia por caminhos diferentes. Construí-la uma única vez, num lugar onde as provas se acumulam em vez de se dispersarem, faz a diferença entre uma governação que se consegue demonstrar e uma governação que apenas se consegue descrever. A nossa comparação entre plataforma de governação da IA e a pilha de ferramentas envolvente esclarece onde esse registo deve residir.