Como Escolher as Ferramentas Certas de Governança em IA: Uma Iniciativa Conjunta com o Grupo Tokio Marine
Com a adoção de IA generativa se acelerando, os riscos também aumentam. As ferramentas de governança em IA oferecem uma forma de gerenciar esses riscos, mas, com um mercado saturado e em rápida evolução, escolher a solução certa é tudo menos simples. Para enfrentar esse desafio, foi realizada uma parceria com o Tokio Marine Holdings e o Tokio Marine & Nichido Systems para projetar um processo de avaliação estruturado. Definindo 30 perspectivas de avaliação, criando mais de 900 conjuntos de dados e testando ferramentas de mais de 20 fornecedores, o objetivo é identificar as ferramentas de governança mais eficazes e promover uma adoção de IA mais segura e confiável.
1. Introdução
À medida que a IA generativa se torna mais difundida, os riscos associados a ela se tornam mais difíceis de ignorar. As ferramentas de governança surgiram como uma forma de reduzir esses riscos, mas com tantas disponíveis no mercado, cada uma variando em escopo e maturidade, pode ser desafiador saber qual solução é a mais adequada para a sua organização.
2. Os Riscos nas Aplicações de IA Generativa
A IA generativa avança em um ritmo impressionante, e suas aplicações agora abrangem tudo, desde atendimento ao cliente até design de produtos. No entanto, com a adoção acelerada, estamos vendo uma nova camada de riscos emergir – riscos que vão muito além dos desafios familiares dos sistemas de TI tradicionais.
- Riscos legais: Questões de responsabilidade permanecem não resolvidas quando se trata de IA. Se um sistema de IA falhar ou produzir resultados prejudiciais, quem é responsável? O desenvolvedor, o fornecedor ou a organização que o implementa? Essa falta de clareza torna a exposição legal uma grande preocupação para muitas empresas.
- Riscos sociais: Quando modelos vazam involuntariamente informações privadas ou reforçam preconceitos, o dano pode se estender além do caso individual, minando a confiança pública e até provocando crises reputacionais.
- Riscos técnicos: Diferentemente dos bugs de software convencionais, as vulnerabilidades da IA frequentemente decorrem dos próprios dados. Questões como preconceito embutido ou “alucinações” podem ser mais difíceis de detectar e controlar, enquanto o risco de informações confidenciais serem extraídas por meio de prompts permanece um desafio constante de segurança.
Para as empresas, esses riscos podem levar diretamente a perdas financeiras, danos à reputação e diminuição da confiança com as partes interessadas. Ao mesmo tempo, iniciativas internacionais como o Hiroshima AI Process destacam que a governança em IA se tornou uma expectativa básica: não importa onde você esteja no mundo. As empresas devem, portanto, equilibrar os benefícios da IA generativa com medidas proativas para antecipar e mitigar esses riscos em evolução.
3. Usando Ferramentas de Governança em IA para Gerenciar Riscos
Uma das maneiras mais eficazes de enfrentar os riscos da IA generativa é por meio de ferramentas de governança em IA. Essas soluções fornecem supervisão e salvaguardas que ajudam as organizações a detectar problemas antes que eles se agravem. De forma ampla, as ferramentas de governança em IA se dividem em duas categorias:
- Ferramentas de guardrail: Essas ferramentas atuam em tempo real, monitorando continuamente as entradas e saídas dos sistemas de IA. Seu papel é bloquear prompts ou respostas prejudiciais, ajudando a prevenir a divulgação de informações prejudiciais, tendenciosas ou sensíveis.
- Ferramentas de teste: Em vez de focar em interações ao vivo, as ferramentas de teste avaliam modelos em condições controladas. Elas são usadas para investigar segurança, confiabilidade e segurança, descobrindo anomalias ou vulnerabilidades antes que um sistema seja implantado.
4. O Desafio de Selecionar Ferramentas de Governança em IA
Escolher a ferramenta certa para sua organização não é um processo simples. O mercado está saturado de soluções que variam amplamente em escopo e maturidade, tornando comparações justas difíceis. Além disso, a governança em IA ainda é um campo emergente, e muitas ferramentas ainda não estão totalmente desenvolvidas. Isso cria dois desafios principais:
- Fazer comparações funcionais usando critérios consistentes: As funções centrais das ferramentas de governança em IA, incluindo a detecção de informações prejudiciais, redução de preconceitos ou proteção à privacidade, muitas vezes são definidas em um nível muito abstrato. Mesmo quando várias ferramentas afirmam ter capacidades semelhantes, seu desempenho e precisão podem diferir significativamente na prática.
- Avaliação funcional que reflete as últimas tendências: O mercado de governança em IA ainda está se desenvolvendo rapidamente, evoluindo em resposta a avanços tecnológicos e mudanças nas expectativas sociais. À medida que a IA é adotada em mais indústrias, novos riscos emergem, e os governos ao redor do mundo estão revisando leis e regulamentos para acompanhar esse ritmo.
5. O Grupo Tokio Marine e Nossa Abordagem Conjunta
Para enfrentar esses desafios, foi realizada uma parceria com o Tokio Marine Holdings, Inc. e o Tokio Marine & Nichido Systems, Inc. para projetar um processo estruturado para avaliar e selecionar ferramentas de governança em IA. Nossa abordagem envolveu três iniciativas principais:
- Estabelecimento de perspectivas de avaliação: Combinamos as últimas estruturas de avaliação de organizações externas líderes, incluindo o Instituto de Segurança em IA do Japão (J-AISI) e o Open Web Application Security Project (OWASP), com as Diretrizes para Operadores de IA publicadas pelo Ministério da Economia, Comércio e Indústria do Japão (METI) e pelo Ministério da Administração Interna e Comunicações (MIC). Isso nos levou a compilar um conjunto de 26 critérios de avaliação universais.
- Criando conjuntos de dados de avaliação: Desenvolvemos um conjunto de dados em larga escala composto por 933 conjuntos de dados individuais, extraídos de projetos de prova de conceito (PoC) anteriores, bem como de fontes disponíveis publicamente.
- Comparando e avaliando ferramentas de mais de 20 fornecedores: A avaliação começou com o contato com mais de 20 fornecedores nacionais e internacionais de ferramentas de governança em IA.
6. O Caminho a Seguir
Através desta iniciativa conjunta para avaliar ferramentas de governança em IA, o Tokio Marine Holdings, Inc., o Tokio Marine & Nichido Systems, Inc. e nossa equipe da NTT DATA buscam identificar a solução mais adequada e implementá-la até o exercício fiscal de 2025. Ao fazer isso, não apenas reduziremos os riscos associados à IA generativa, mas também criaremos as condições para sua adoção mais ampla.
Isso nos permitirá aprimorar a eficiência operacional, fortalecer a competitividade das empresas e servir como um catalisador para a inovação em todo o setor de seguros, ajudando o setor a evoluir para enfrentar as oportunidades e desafios da era da IA.
