Software de gestão de riscos da IA para os riscos próprios da IA
Para que serve um software de gestão de riscos da IA
A prática de identificar, avaliar e mitigar os riscos próprios dos sistemas de IA. Assenta num vocabulário e num modelo de dados específicos da IA: os riscos vivem em modelos, conjuntos de dados, interfaces, casos de utilização e ações, não em registos de ativos genéricos.
- Capta enviesamentos, alucinações, deriva de dados, injeção de prompts, degradação de modelos, fugas de propriedade intelectual, incumprimentos regulamentares
- Ancora cada risco ao componente que produz o comportamento
- Liga o registo de riscos à camada de controlos de conformidade através do mesmo inventário de sistemas de IA
O AI Sigil disponibiliza um software de gestão de riscos da IA que aplica esta prática sobre o mesmo inventário de sistemas de IA que alimenta a vertente de conformidade, pelo que um risco identificado num modelo é visível a partir de cada sistema que usa esse modelo.
Como o software de gestão de riscos da IA identifica os riscos
O software de gestão de riscos da IA regista cada risco no modelo, conjunto de dados, interface, caso de utilização ou ação em que tem origem. No software de gestão de riscos da IA, o registo de riscos é um artefacto de trabalho, não uma exportação trimestral.
- Capte domínio, gravidade, probabilidade e estratégia de tratamento como metadados estruturados
- Pontue separadamente o risco inicial e o residual, antes e depois das mitigações
- Filtre a sua carteira por gravidade, estado de mitigação, domínio, sistema de IA ou responsável
Do risco identificado ao risco resolvido
Identificar um risco é o início, não o fim. O software de gestão de riscos da IA permite-lhe definir uma ou mais mitigações por risco, cada uma com o seu responsável, estado e calendário.
Defina as mitigações. Uma ou mais por risco, cada uma com responsável, estado e prazo. A relação é de um para muitos: um único risco pode ter vários tratamentos paralelos, acompanhados de forma independente.
Implemente e ligue evidências. Documentos, resultados de testes e ficheiros exportados prendem-se à mitigação que suportam, para que a ligação entre risco, tratamento e prova se mantenha de ponta a ponta.
Reavalie o risco residual. Volte a pontuar depois de as mitigações estarem em vigor. A postura reflete o hoje, não o dia em que o risco foi aberto.
Um software de gestão de riscos da IA unificado com a conformidade
O seu registo de riscos e os seus controlos de conformidade não são programas separados. Partilham o mesmo grafo de entidades:
- Os riscos ligam-se a sistemas de IA
- Os sistemas de IA têm frameworks
- Os frameworks têm controlos
- Os controlos têm avaliações
No software de gestão de riscos da IA, identificar um risco num modelo e avaliar o controlo que o rege acontecem no mesmo ambiente, sobre os mesmos dados. A função «Manage» do NIST AI RMF e a obrigação de sistema de gestão de riscos do Regulamento IA (artigos 9.º e 17.º para os sistemas de risco elevado) partilham os mesmos registos. Sem exportações, sem cruzamentos de referências, sem reconciliações entre ferramentas.
Os riscos da IA não são riscos de TI
A maioria das ferramentas de risco empresarial parte do princípio de que o risco vive num ativo, numa aplicação ou num processo. Os riscos da IA vivem nos componentes que produzem o comportamento da IA: o modelo, os dados que o treinaram, o prompt que o guiou, a interface que moldou a sua utilização. Têm também um vocabulário próprio. Um software de gestão de riscos da IA assente num modelo de ativos genérico perde esta distinção.
Enviesamento e equidade
Alucinação
Injeção de prompts
Deriva do modelo
Qualidade dos dados
Fuga de propriedade intelectual
Utilização indevida e dupla utilização
Incumprimento regulamentar
O AI Sigil face aos outros softwares de gestão de riscos da IA
Onde cada categoria se destaca, onde fica aquém e como o AI Sigil se compara na cobertura dos riscos próprios da IA.
ABORDAGEM
PONTO FORTE
LIMITAÇÃO
Folha de cálculo
Barata, flexível
Sem pista de auditoria, sem grafo de entidades, sem fluxo de reavaliação do risco residual
Suites de gestão de riscos empresariais
Fluxos de trabalho maduros, reporte ao conselho, integração com a TI empresarial
Modelo de ativos genérico, sem vocabulário próprio da IA nem ajuste por classe de risco
AI Sigil
O software de gestão de riscos da IA do AI Sigil ancora os riscos próprios da IA aos componentes, pontua o risco residual e unifica-se com a camada de controlos de conformidade
Biblioteca ainda em expansão
O que pedir a um software de gestão de riscos da IA
O software de gestão de riscos da IA que escolher tem de modelar os riscos ao nível do componente, não apenas ao nível do sistema de IA. Um risco que nasce num conjunto de dados de treino comporta-se de forma diferente de um risco que vive na conceção de um prompt ou numa interface de implantação, e o seu software tem de captar essa distinção de forma nativa.
Tem de pontuar o risco residual depois das mitigações, não apenas o risco inicial. Um software de gestão de riscos da IA que guarda um único campo de gravidade não consegue representar o ciclo completo da postura: identificado, tratado, reavaliado.
E tem de partilhar o mesmo grafo de entidades que os seus controlos de conformidade. Registos de risco guardados numa ferramenta diferente da sua biblioteca de controlos acabam por divergir, e passará mais tempo a reconciliar exportações do que a gerir o programa.