Anthropic Lança Ferramenta Petri para Automatizar Auditorias de Segurança em IA
A Anthropic apresentou o Petri (Parallel Exploration Tool for Risky Interactions), uma ferramenta de auditoria de segurança em IA de código aberto, projetada para testar automaticamente modelos de linguagem de grande porte (LLMs) em busca de comportamentos arriscados. Utilizando agentes autônomos, o Petri identifica tendências como decepção, denúncia, cooperação com uso indevido e facilitação do terrorismo.
Resultados das Auditorias
A empresa já auditou 14 modelos líderes, incluindo o seu próprio Claude Sonnet 4.5, OpenAI GPT-5, Google Gemini 2.5 Pro e xAI Corp. Grok-4, encontrando comportamentos problemáticos em todos eles. Os modelos foram testados em 111 tarefas arriscadas em quatro categorias de segurança: decepção, busca de poder, lisonja e falha de recusa. O Claude Sonnet 4.5 apresentou o melhor desempenho geral, embora questões de desalinhamento tenham sido detectadas em todos os modelos.
Funcionamento do Petri
O Petri lança agentes auditor que interagem com os modelos de várias maneiras, enquanto um modelo juiz classifica as saídas com base em métricas de honestidade e recusa, sinalizando respostas arriscadas para revisão humana. Os desenvolvedores podem usar os prompts incluídos, código de avaliação e orientações para ampliar as capacidades do Petri, reduzindo significativamente o esforço de teste manual.
Comportamento de Denúncia
Os pesquisadores da Anthropic observaram que, ao executar o Petri com um conjunto diversificado de instruções iniciais, foram registradas múltiplas instâncias de modelos tentando denunciar — divulgando informações sobre supostas irregularidades organizacionais. Embora isso possa desempenhar um papel importante na prevenção de certos danos em larga escala, não é um comportamento geralmente apropriado para os sistemas de IA atuais: há sérias considerações de privacidade a serem levadas em conta, e o potencial de vazamentos decorrentes de tentativas confusas de denúncia é substancial.
Limitações e Esperanças Futuras
Embora o Petri tenha limitações, os modelos juiz podem herdar preconceitos, e alguns agentes podem inadvertidamente alertar os modelos que estão sendo testados. A Anthropic espera que a disponibilização do Petri como código aberto torne a pesquisa de alinhamento mais transparente, colaborativa e padronizada. Ao mudar os testes de segurança em IA de benchmarks estáticos para auditorias automatizadas e contínuas, o Petri permite que a comunidade monitore e melhore coletivamente o comportamento dos LLMs.
