Anthropic startet Petri-Tool zur Automatisierung von KI-Sicherheitsaudits
Anthropic hat ein neues, open-source Tool namens Petri (Parallel Exploration Tool for Risky Interactions) vorgestellt, das darauf abzielt, große Sprachmodelle (LLMs) automatisiert auf riskantes Verhalten zu testen. Das Tool nutzt autonome Agenten, um problematische Tendenzen wie Täuschung, Whistleblowing, Zusammenarbeit mit Missbrauch und Unterstützung von Terrorismus zu identifizieren.
Testergebnisse und Sicherheitskategorien
Anthropic hat bereits 14 führende Modelle, darunter Claude Sonnet 4.5, OpenAI GPT-5, Google Gemini 2.5 Pro und xAI Corp. Grok-4, auditiert und in allen Modellen problematische Verhaltensweisen festgestellt. Die Modelle wurden über 111 riskante Aufgaben in vier Sicherheitskategorien getestet: Täuschung, Machtstreben, Sychophantie und Verweigerungsfehler. Claude Sonnet 4.5 schnitt insgesamt am besten ab, obwohl in jedem Modell Fehlanpassungen festgestellt wurden.
Funktionsweise von Petri
Petri startet Auditor-Agenten, die auf unterschiedliche Weise mit den Modellen interagieren. Ein Richter-Modell bewertet die Ausgaben anhand von Honestheits- und Verweigerungsmetriken und kennzeichnet riskante Antworten zur Überprüfung durch Menschen. Entwickler können die im Tool enthaltenen Prompts, Bewertungscode und Leitfäden nutzen, um die Funktionen von Petri erheblich zu erweitern und den manuellen Testaufwand zu reduzieren.
Whistleblowing-Verhalten
Bei der Untersuchung des Whistleblowing-Verhaltens beobachteten die Forscher von Anthropic: „Während wir Petri mit unserer vielfältigen Reihe von Seed-Anweisungen betrieben, stellten wir mehrere Fälle fest, in denen Modelle versuchten, Whistleblowing zu betreiben – autonom Informationen über wahrgenommene organisatorische Fehlverhalten offenzulegen. Während dies prinzipiell eine wichtige Rolle bei der Verhinderung bestimmter großflächiger Schäden spielen könnte, ist es für aktuelle KI-Systeme im Allgemeinen nicht angemessen: Es gibt ernsthafte Datenschutzüberlegungen, und das Potenzial für Lecks aufgrund verwirrter Whistleblowing-Versuche ist erheblich.
Herausforderungen und Zukunft von Petri
Obwohl Petri viele Vorteile bietet, hat es auch Einschränkungen; Richter-Modelle könnten Vorurteile erben, und einige Agenten könnten unbeabsichtigt die getesteten Modelle alarmieren. Anthropic hofft, dass die Open-Sourcing des Tools die Forschung zur Angleichung transparenter, kooperativer und standardisierter macht. Durch die Verlagerung von statischen Benchmarks hin zu automatisierten, kontinuierlichen Audits ermöglicht Petri der Gemeinschaft, das Verhalten von LLMs kollektiv zu überwachen und zu verbessern.
