KI-Agenten-Sicherheit: von den OWASP Top 10 zum Nachweis

KI-Agenten-Sicherheit ist die Antwort auf eine neue Klasse von Systemen: Agenten planen, behalten ein Gedächtnis, rufen Werkzeuge auf und handeln mit übertragenen Befugnissen. Fast jeder Leitfaden zum Thema stammt von einem Sicherheitsanbieter und endet bei der Bedrohung. Die Referenzliste, die OWASP Top 10 for Agentic Applications, umfasst 57 Seiten und nennt keine einzige Rechtsvorschrift. Dieser Leitfaden liest dieselben zehn Risiken so, wie es eine Auditorin oder eine Marktüberwachungsbehörde täte: Welche Pflicht berührt das jeweilige Risiko, welcher Nachweis belegt, dass Sie sich darum gekümmert haben, und welche Fristen laufen bereits? Geschrieben ist er für europäische Organisationen, die Agenten bauen oder einsetzen.

Auf einen Blick

• Ein Agent kann eine Anweisung nicht verlässlich von Inhalten unterscheiden, die er liest. Der Kontrollpunkt der KI-Agenten-Sicherheit ist deshalb, was der Agent tun darf, nicht, was man ihm sagt.
• Die OWASP Top 10 for Agentic Applications (9. Dezember 2025) führen zehn Risiken, ASI01 bis ASI10, und nach unserer Zählung 86 nummerierte Gegenmaßnahmen.
• Auf 57 Seiten kommen weder die KI-Verordnung noch ISO/IEC 42001 vor: Die rechtliche Lesart müssen Sie selbst aufbauen.
• Die Kommission behandelt Agenten als KI-Systeme, nicht als eigene Kategorie. Ihr Leitlinienentwurf zur Hochrisiko-Einstufung (19. Mai 2026) bewertet ein agentisches System als Ganzes.
• Die Meldepflichten der Cyberresilienz-Verordnung gelten seit dem 11. September 2026, die Transparenz nach Artikel 50 seit dem 2. August 2026, die Hochrisiko-Pflichten nach Anhang III folgen am 2. Dezember 2027.

Was ist KI-Agenten-Sicherheit?

KI-Agenten-Sicherheit ist die Disziplin, Systeme, die planen, sich erinnern, Werkzeuge aufrufen und mit übertragenen Befugnissen handeln, innerhalb des Rahmens zu halten, den ihr Verantwortlicher vorgesehen hat, und genau das belegen zu können. Der zweite Halbsatz zählt: Technik ohne Dokumentation überzeugt keine Behörde. OWASP nutzt vier Fähigkeiten als Raster: Planen und Schlussfolgern, Gedächtnis, Werkzeugnutzung und Handeln. In einer gewöhnlichen Sprachmodell-Anwendung ist das Modell ein Bauteil: Es liefert einen Text, und der umgebende Code entscheidet, was damit geschieht. In einem Agenten ist das Modell ein Akteur. Es bestimmt selbst, welchen Schritt es als Nächstes geht, welches Werkzeug es aufruft und wann die Aufgabe als erledigt gilt. Die Grundlagen behandeln unsere Beiträge zur KI-Sicherheit und zu autonomen KI-Agenten.

Warum Agenten die Annahmen der Anwendungssicherheit brechen

Drei Annahmen, auf denen Jahrzehnte der Anwendungssicherheit beruhen, tragen bei Agenten nicht mehr.

1. Code und Daten lassen sich nicht mehr trennen. OWASP hält fest, dass Agenten und das zugrunde liegende Modell Anweisungen nicht verlässlich von zugehörigen Inhalten unterscheiden können. Eine Webseite, ein PDF, ein Ticket oder die Ausgabe eines Werkzeugs kann daher wie ein Befehl wirken.
2. Die Identität, die handelt, ist nicht die Identität, die gefragt hat. Agenten arbeiten über Delegationsketten und mit geerbten Zugangsdaten. Wer um eine Zusammenfassung bittet, löst womöglich Aktionen aus, die er selbst nie hätte ausführen dürfen.
3. Ein einzelner Fehler bleibt bestehen und breitet sich aus. Was in das Gedächtnis eines Agenten gelangt, wirkt über Sitzungen hinweg. Was ein Agent an einen anderen weitergibt, wandert durch das gesamte System.

Aus dem Vorwort der OWASP-Projektleitung lassen sich zwei Grundsätze der KI-Agenten-Sicherheit ableiten. Der erste heißt Least Agency: unnötige Autonomie vermeiden. Wer agentisches Verhalten dort einsetzt, wo es nicht gebraucht wird, vergrößert laut OWASP die Angriffsfläche, ohne einen Mehrwert zu schaffen. Der zweite Grundsatz: Beobachtbarkeit ist nicht verhandelbar. Sie müssen sehen können, was Ihre Agenten tun, warum sie es tun und welche Werkzeuge sie dabei aufrufen. Als Schnelltest für KI-Agenten-Sicherheit taugt die „lethal trifecta“ von Simon Willison: Hat ein Agent Zugriff auf private Daten, verarbeitet er nicht vertrauenswürdige Inhalte und kann er nach außen kommunizieren, dann sind alle Zutaten für einen Datenabfluss beisammen.

Die Referenzliste der KI-Agenten-Sicherheit: OWASP Top 10 for Agentic Applications

Die OWASP Top 10 for Agentic Applications wurden am 9. Dezember 2025 vom OWASP GenAI Security Project veröffentlicht, genauer von dessen Agentic Security Initiative. Das Dokument trägt die Versionsangabe 2026, umfasst 57 Seiten, steht unter der Lizenz CC BY-SA 4.0 und geht auf mehr als 100 Mitwirkende zurück. Jeder Eintrag folgt demselben Aufbau: Beschreibung, typische Beispiele, Angriffsszenarien, Leitlinien zur Vorbeugung und Minderung. Nach unserer Zählung enthält die Liste 86 nummerierte Gegenmaßnahmen, zwischen 7 und 10 je Eintrag, sowie 61 Angriffsszenarien. Vorläufer ist die Taxonomie Agentic AI – Threats and Mitigations vom Februar 2025 mit fünfzehn Bedrohungen, T1 bis T15. <table header-row=“true“> <tr> <td>ID</td> <td>Eintrag</td> <td>Was schiefgeht</td> <td>Erste Maßnahme, die OWASP nennt</td> </tr> <tr> <td>ASI01</td> <td>Agent Goal Hijack (Kapern des Agentenziels)</td> <td>Ein Angreifer lenkt Ziele oder Entscheidungsweg des Agenten um, über Prompts, Werkzeugausgaben, Dokumente oder gefälschte Nachrichten</td> <td>Jede natürlichsprachliche Eingabe als nicht vertrauenswürdig behandeln, menschliche Freigabe für zielverändernde Aktionen</td> </tr> <tr> <td>ASI02</td> <td>Tool Misuse and Exploitation (Missbrauch und Ausnutzung von Werkzeugen)</td> <td>Der Agent setzt ein legitimes Werkzeug unsicher ein: Datenabfluss, zerstörerische Aktion, verkettete Aufrufe</td> <td>Least Agency und minimale Rechte je Werkzeug: Geltungsbereiche, Ratenbegrenzung, Positivlisten für ausgehenden Verkehr</td> </tr> <tr> <td>ASI03</td> <td>Identity and Privilege Abuse (Missbrauch von Identitäten und Berechtigungen)</td> <td>Delegationsketten, geerbte oder zwischengespeicherte Zugangsdaten lassen den Agenten mehr tun, als der Anfragende dürfte</td> <td>Aufgabenbezogene, zeitlich befristete Berechtigungen, Autorisierung je Aktion</td> </tr> <tr> <td>ASI04</td> <td>Agentic Supply Chain Vulnerabilities (Schwachstellen in der agentischen Lieferkette)</td> <td>Ein Werkzeug, Plug-in, MCP-Server, Modell, Prompt oder Agent eines Dritten ist bösartig oder manipuliert</td> <td>Herkunftsnachweise, SBOM und AIBOM, signierte Manifeste, Positivliste und feste Versionen</td> </tr> <tr> <td>ASI05</td> <td>Unexpected Code Execution (unerwartete Codeausführung, RCE)</td> <td>Generierter Code oder eine Werkzeugeingabe wird zur Befehlsausführung auf einem Host</td> <td>Ausführung in der Sandbox, kein direkter Weg vom Agenten in die Produktion, Freigabe für privilegierte Läufe</td> </tr> <tr> <td>ASI06</td> <td>Memory and Context Poisoning (Vergiftung von Gedächtnis und Kontext)</td> <td>Gespeicherter Kontext (Zusammenfassungen, Embeddings, RAG-Speicher) wird mit falschen oder bösartigen Inhalten versehen, die über Sitzungen hinweg bestehen</td> <td>Schreibzugriffe auf das Gedächtnis prüfen, Gedächtnis segmentieren, Herkunft festhalten, Snapshots und Rollback</td> </tr> <tr> <td>ASI07</td> <td>Insecure Inter-Agent Communication (unsichere Kommunikation zwischen Agenten)</td> <td>Nachrichten zwischen Agenten werden gefälscht, wiedereingespielt oder verändert</td> <td>Gegenseitige Authentifizierung, signierte Nachrichten, festgelegte Protokollversionen, attestierte Register</td> </tr> <tr> <td>ASI08</td> <td>Cascading Failures (Kaskadenfehler)</td> <td>Ein Fehler pflanzt sich über Agenten und Werkzeuge fort und schädigt das ganze System</td> <td>Isolation und Vertrauensgrenzen, Schutzschalter, unabhängige Richtliniendurchsetzung, manipulationssichere Protokolle</td> </tr> <tr> <td>ASI09</td> <td>Human-Agent Trust Exploitation (Ausnutzung des Vertrauens in den Agenten)</td> <td>Menschen vertrauen einem sprachgewandten Agenten zu sehr und geben schädliche Aktionen frei</td> <td>Ausdrückliche Bestätigungen, Vorschau und Wirkung trennen, Risikohinweise in einfacher Sprache</td> </tr> <tr> <td>ASI10</td> <td>Rogue Agents (abtrünnige Agenten)</td> <td>Ein kompromittierter oder fehlausgerichteter Agent verlässt seinen Rahmen, während jede einzelne Aktion legitim aussieht</td> <td>Signierte Audit-Protokolle, Verhaltensüberwachung, Notabschaltung und Entzug der Zugangsdaten, Quarantäne und Wiedereingliederung</td> </tr> </table> Zwei Beobachtungen aus unserer Lektüre. Erstens: Protokollierung oder Überwachung taucht nach unserer Zählung in neun der zehn Einträge als nummerierte Maßnahme auf, die menschliche Freigabe in sieben. Quer gelesen ist die Liste also eine Spezifikation für Protokolle und Freigaberegeln. Wer KI-Agenten-Sicherheit auf Eingabefilter reduziert, hat sie nicht zu Ende gelesen. Zweitens: Die Kennungen sind sauber verknüpft, aber nur innerhalb der Sicherheitswelt. Anhang A bildet sie auf die LLM Top 10 von 2025 ab, Anhang C auf die Non-Human Identities Top 10, Anhang B auf CycloneDX und AIBOM. Auf ein Gesetz verweist keine einzige. Weshalb die LLM Top 10 allein nicht genügen, zeigt unser Vergleich agentische KI vs. generative KI.

Was die Vorfallsbilanz zeigt

Den Top 10 liegt in Anhang D ein Verzeichnis von Exploits und Vorfällen bei, das auf GitHub wöchentlich fortgeschrieben wird. Es umfasst rund zwei Dutzend öffentlich bekannte Vorfälle aus der Zeit von Februar bis Oktober 2025, am häufigsten den Einträgen Tool Misuse, Agent Goal Hijack und Unexpected Code Execution zugeordnet. Einige Beispiele, die für die KI-Agenten-Sicherheit lehrreich sind:

• Februar 2025: Prompt Injection gegen ChatGPT Operator über Webinhalte.
• Juli 2025: Agenten in Copilot Studio, die standardmäßig öffentlich erreichbar waren und keine Authentifizierung verlangten.
• September 2025: ForcedLeak in Salesforce Agentforce, eine indirekte Prompt Injection.
• September 2025: der erste in freier Wildbahn entdeckte bösartige MCP-Server, auf npm veröffentlicht und als postmark-mcp getarnt.
• Oktober 2025: eine Gruppe von Schwachstellen im Coding-Agenten Cursor.

Das Bild für 2026 zeichnet der OWASP-Bericht State of Agentic AI Security and Governance in Version 2.01 vom 1. Juni 2026. Wie Help Net Security am 11. Juni 2026 berichtete, katalogisierte die Ausgabe 2025 noch plausible Bedrohungen, die Ausgabe 2026 dagegen CVEs, Herstellerwarnungen und Berichte über Sicherheitsverletzungen. Verfolgt werden 53 agentische Projekte, 28 davon Coding-Agenten. Die meisten Sicherheitshinweise entfallen auf n8n (57), Claude Code (22), AutoGPT (15), Dify (13) und Roo-Code (11). Im März 2026 tauchte auf PyPI ein mit einer Hintertür versehenes LiteLLM-Paket auf, das in einem Zeitfenster von drei Stunden rund 47.000 Mal heruntergeladen wurde. LiteLLM dient mehreren Agenten-Frameworks als Gateway. Zwei Lehren für die KI-Agenten-Sicherheit lassen sich daraus ziehen:

• Der Einstiegspunkt ist meist banal. Ein Paket, eine Webseite, ein Ticket, eine Standardeinstellung.
• Über den Schaden entscheidet, was der Agent durfte.

Wie Sie beides testen, beschreibt unser Beitrag zum KI-Red-Teaming. Die Angriffstechniken ordnet MITRE ATLAS ein.

Was Leitfäden zur KI-Agenten-Sicherheit auslassen: das Recht

Wir haben den Volltext der Top 10 durchsucht: Das PDF erwähnt weder die KI-Verordnung noch ISO/IEC 42001 noch irgendeine andere Regulierung. Für ein Sicherheitsdokument ist das kein Mangel. Es ist aber eine Lücke für alle, die einer Behörde ihre KI-Agenten-Sicherheit erklären müssen. Der am 1. September 2026 erschienene GenAI Security Industry Framework Crosswalk von OWASP ordnet die GenAI-Risiken inzwischen 25 Rahmenwerken zu, darunter der KI-Verordnung. Ein nützliches Register, aber eine Zuordnung aus der Community und keine rechtliche Auslegung. Was die Kommission bisher gesagt hat, ist überschaubar. Agenten bilden keine eigene Kategorie: Die Definitionen des KI-Systems (Artikel 3 Nummer 1) und des KI-Modells mit allgemeinem Verwendungszweck (Artikel 3 Nummer 63) erfassen sie bereits. Am 19. Mai 2026 hat die Kommission den Entwurf ihrer Leitlinien zur Hochrisiko-Einstufung zur Konsultation gestellt. Nach Kommentierung aus der Anwaltschaft wird ein System aus mehreren zusammenwirkenden Komponenten, agentische Systeme eingeschlossen, als Ganzes beurteilt, und die Ausnahme nach Artikel 6 Absatz 3 lässt sich nicht Modul für Modul in Anspruch nehmen. Die endgültige Fassung steht noch aus. Ob Ihr Agent darunter fällt, klären die Kriterien für Hochrisiko-KI-Systeme. Die folgende Tabelle ist unsere Lesart der KI-Agenten-Sicherheit durch die Brille der KI-Verordnung, keine Zuordnung von OWASP oder der Kommission. <table header-row=“true“> <tr> <td>Eintrag</td> <td>Anknüpfung in der KI-Verordnung</td> <td>Nachweis, den ein Auditor verlangt</td> </tr> <tr> <td>ASI01</td> <td>Art. 15 Abs. 5 (Versuche, Verwendung, Ausgaben oder Leistung zu verändern), Art. 9 Risikomanagement</td> <td>Verzeichnis der nicht vertrauenswürdigen Eingabekanäle, Systemprompt unter Versionskontrolle, Testbericht zur Zielübersteuerung</td> </tr> <tr> <td>ASI02</td> <td>Art. 14 menschliche Aufsicht, Art. 26 Abs. 1 Verwendung gemäß Betriebsanleitung</td> <td>Werkzeugregister mit Geltungsbereichen, Raten- und Egress-Grenzen, Freigaberegel für zerstörerische Aktionen, unveränderliches Protokoll der Werkzeugaufrufe</td> </tr> <tr> <td>ASI03</td> <td>Art. 15 Abs. 5, DSGVO Art. 32</td> <td>Eine Identität je Agent, kurzlebige Zugangsdaten mit engem Geltungsbereich, Überprüfung der Delegationsketten</td> </tr> <tr> <td>ASI04</td> <td>Art. 25 Verantwortlichkeiten entlang der Wertschöpfungskette, Cyberresilienz-Verordnung Anhang I</td> <td>AIBOM oder SBOM, signierte Werkzeuge und MCP-Server mit festen Versionen, Lieferantenbewertungen</td> </tr> <tr> <td>ASI05</td> <td>Art. 15 Abs. 4 und 5, Cyberresilienz-Verordnung Anhang I</td> <td>Sandbox-Konfiguration, Positivliste für automatische Ausführung unter Versionskontrolle, Scan-Protokolle</td> </tr> <tr> <td>ASI06</td> <td>Art. 10 Daten-Governance, Art. 15 Abs. 5 (Datenvergiftung)</td> <td>Prüfregel für Schreibzugriffe auf das Gedächtnis, Herkunftsnachweise, Rollback-Test, Aufbewahrungsregel</td> </tr> <tr> <td>ASI07</td> <td>Art. 15 Abs. 5, Art. 12 Aufzeichnungspflichten</td> <td>Konfiguration der gegenseitigen Authentifizierung, signierte Nachrichten, Agentenregister, Richtlinie zu Protokollversionen</td> </tr> <tr> <td>ASI08</td> <td>Art. 15 Abs. 4 (Widerstandsfähigkeit gegenüber Fehlern und Störungen), Art. 72 Beobachtung nach dem Inverkehrbringen</td> <td>Grenzen für den Schadensradius, Testergebnisse der Schutzschalter, Aufzeichnungen von Replay-Tests</td> </tr> <tr> <td>ASI09</td> <td>Art. 14 Abs. 4 Buchst. b (Automatisierungsbias), Art. 50 Abs. 1</td> <td>Gestaltung der Bestätigung bei riskanten Aktionen, Meldekanal für Nutzer, Schulungsnachweise zur Aufsicht</td> </tr> <tr> <td>ASI10</td> <td>Art. 14 Abs. 4 Buchst. e (Stopp), Art. 72, Art. 73 schwerwiegende Vorfälle</td> <td>Übung zu Notabschaltung und Entzug der Zugangsdaten, Verhaltens-Baseline, Verfahren für Quarantäne und Wiedereingliederung</td> </tr> </table> Bleibt ISO/IEC 42001. Die Norm ist lizenziert, wir nennen daher nur die Themenfelder aus Anhang A, die für Agenten einschlägig sind: der Lebenszyklus des KI-Systems (Betrieb und Überwachung, Ereignisprotokolle), die Beziehungen zu Dritten und Kunden, die Nutzung von KI-Systemen und die Zuweisung von Verantwortlichkeiten. Ein Zertifizierungsauditor wird wissen wollen, wie Sie die Risiken Ihrer Agenten ermittelt haben und was Sie zu jedem einzelnen entschieden haben.

Welches Recht Nachweise zur KI-Agenten-Sicherheit einforderbar macht

Eine OWASP-Liste kann niemand einklagen. Die folgenden Vorschriften dagegen geben einer Behörde, einem Auditor oder einem Vertragspartner das Recht, Belege zur KI-Agenten-Sicherheit zu verlangen.

• KI-Verordnung, Artikel 9, 12, 14 und 15: Für Hochrisiko-Systeme gelten Risikomanagement, automatische Ereignisprotokolle, menschliche Aufsicht einschließlich der Möglichkeit, das System über eine Stopptaste oder ein ähnliches Verfahren zu unterbrechen (Artikel 14 Absatz 4 Buchstabe e), sowie Widerstandsfähigkeit gegen Versuche unbefugter Dritter, Verwendung, Ausgaben oder Leistung zu verändern (Artikel 15 Absatz 5). Anhang III greift ab dem 2. Dezember 2027, Anhang I ab dem 2. August 2028, jeweils nach dem Digitalen Omnibus, Verordnung (EU) 2026/1744.
• KI-Verordnung, Artikel 26: Betreiber müssen das System gemäß der Betriebsanleitung verwenden, die Aufsicht kompetenten Personen übertragen, den Betrieb überwachen und automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren.
• KI-Verordnung, Artikel 50: Seit dem 2. August 2026 muss ein Agent, der direkt mit Menschen interagiert, erkennbar machen, dass sie es mit einem KI-System zu tun haben.
• KI-Verordnung, Artikel 55: Für Modelle mit allgemeinem Verwendungszweck und systemischem Risiko sind Angriffstests und Cybersicherheitsschutz vorgeschrieben, anwendbar seit dem 2. August 2025.
• Cyberresilienz-Verordnung (CRA), Verordnung (EU) 2024/2847: Sie erfasst Produkte mit digitalen Elementen und damit die meiste kommerzielle Software, die einen Agenten mitliefert. Seit dem 11. September 2026 melden Hersteller aktiv ausgenutzte Schwachstellen und schwerwiegende Sicherheitsvorfälle: Frühwarnung binnen 24 Stunden, Meldung binnen 72 Stunden. Die vollständigen grundlegenden Anforderungen gelten ab dem 11. Dezember 2027.
• DSGVO, Artikel 32: Sicherheit der Verarbeitung, sobald der Agent personenbezogene Daten berührt.
• NIS-2 und DORA: Wesentliche und wichtige Einrichtungen sowie Finanzunternehmen schulden IKT-Risikomanagement und Vorfallmeldungen schon heute. DORA gilt seit dem 17. Januar 2025.

Hinzu kommen die Fristen für schwerwiegende Vorfälle bei Hochrisiko-Systemen nach Artikel 73 der KI-Verordnung: 15 Tage im Regelfall, 2 Tage bei einem weitverbreiteten Verstoß oder einer Störung kritischer Infrastruktur, 10 Tage im Todesfall. Ein einziger Agentenvorfall kann somit drei Uhren gleichzeitig starten: die der Cyberresilienz-Verordnung, die der DSGVO und die der KI-Verordnung. Wie Sie diese Abläufe vorbereiten, steht in unserem Beitrag zur KI-Vorfallmeldung. Für KI-Agenten-Sicherheit in Deutschland kommen zwei Anker hinzu. Das BSI führt eine eigene Themenseite zu KI-Agenten, die erklärt, was Agenten sind, welche Sicherheitsrisiken entstehen und welche Schutzmaßnahmen in Betracht kommen. Gemeinsam mit der französischen ANSSI hat es zudem die Design Principles for LLM-based Systems with Zero Trust veröffentlicht: sechs Prinzipien, darunter Authentifizierung und Autorisierung, Beschränkung von Ein- und Ausgaben, Sandboxing und Überwachung. Als Marktüberwachungsbehörde für die KI-Verordnung ist die Bundesnetzagentur benannt.

Von KI-Agenten-Sicherheit zum Nachweis: eine Methode in sieben Schritten

Die folgende Methode zerlegt KI-Agenten-Sicherheit in sieben Entscheidungen, die jeweils eine Spur hinterlassen.

1. Jeden Agenten inventarisieren. Halten Sie fest: Verantwortlicher, Zweck, Modell, Werkzeuge samt Geltungsbereichen, Gedächtnisspeicher, Identitäten und Zugangsdaten, weitere Agenten, mit denen er kommuniziert, und Systeme, die er verändern kann. Das KI-Register von AI Sigil führt diese Angaben als Datensatz.
2. Least Agency anwenden. Dokumentieren Sie für jeden Agenten, warum Autonomie nötig ist und was er ohne Freigabe tun darf. Entfernen Sie Werkzeuge, die er nicht braucht. Auch eine dokumentierte Ablehnung ist ein Nachweis für KI-Agenten-Sicherheit.
3. Jedem Agenten eine eigene Identität geben. Keine geteilten Dienstkonten, sondern kurzlebige, aufgabenbezogene Zugangsdaten. Berechtigungen werden an Subjekt, Ressource, Zweck und Dauer gebunden.
4. Die Freigaberegel schreiben. Welche Aktionen (löschen, zahlen, veröffentlichen, Zugriff gewähren, ein Ziel ändern) brauchen einen Menschen, wen genau, und wie wird die Anfrage dargestellt, damit die Freigabe kein Reflex wird? Die Anforderungen dahinter beschreibt unser Beitrag zur menschlichen Aufsicht.
5. Protokollieren, wonach eine Behörde fragen wird. Ziel, Plan, jeder Werkzeugaufruf mit Parametern, jede Freigabe, jede Nachricht zwischen Agenten. Die Protokolle müssen manipulationssicher und mit Zeitstempel versehen sein und werden, wo die KI-Verordnung greift, mindestens sechs Monate aufbewahrt.
6. Vor der Freigabe und nach jeder Änderung testen. Ein neues Werkzeug, eine neue Modellversion, ein geänderter Prompt oder eine neue Gedächtnisquelle öffnet ASI01, ASI02 und ASI06 erneut. Zum Testplan gehört eine Übung zur Notabschaltung und zum Entzug der Zugangsdaten. Das Vorgehen entspricht dem beim KI-Red-Teaming.
7. Lieferkette und Fristen zu Papier bringen. AIBOM oder SBOM, signierte Werkzeuge und MCP-Server mit festen Versionen, Lieferantenklauseln (siehe Lieferanten-Due-Diligence für KI) und die Antwort auf die Frage, wer binnen 24 oder 72 Stunden meldet.

Jeder Schritt hinterlässt einen Datensatz. Zusammengenommen bilden sie eine Anwendbarkeitserklärung für Agentenrisiken: zehn Einträge, je eine Entscheidung, eine Maßnahme, ein Verantwortlicher und ein Testergebnis. Mehr verlangt KI-Agenten-Sicherheit auf dem Papier nicht.

Rollen: Wer in der Wertschöpfungskette für KI-Agenten-Sicherheit einsteht

Ein Agent stammt selten aus einer Hand. Beteiligt sind der Anbieter des Modells, das Framework, die Herausgeber von Werkzeugen und MCP-Servern, der Integrator und die Organisation, die den Agenten einsetzt. Artikel 25 der KI-Verordnung zieht daraus eine klare Konsequenz: Wer ein Hochrisiko-System mit seinem Namen versieht, es wesentlich verändert oder seine Zweckbestimmung ändert, wird selbst zum Anbieter. Wer einen Agenten aus einem Modell mit allgemeinem Verwendungszweck und einer Reihe von Werkzeugen zusammensetzt, kann als Integrator damit Anbieter eines KI-Systems werden. Das arXiv-Papier AI Agents Under EU Law von 2026 schlägt eine Compliance-Architektur in zwölf Schritten vor. Es kommt zu dem Schluss, dass die grundlegende Aufgabe des Anbieters ein vollständiges Inventar der externen Aktionen des Agenten, seiner Datenflüsse, der angebundenen Systeme und der betroffenen Personen ist, und dass agentische Hochrisiko-Systeme mit nicht nachvollziehbarer Verhaltensdrift die grundlegenden Anforderungen derzeit nicht erfüllen können. Der Bericht Ahead of the Curve von The Future Society (Juni 2025) nennt die Lage das „many hands problem“ und verteilt die Pflichten auf Modellanbieter, Systemanbieter und Betreiber. Praktisch folgt daraus für die KI-Agenten-Sicherheit dreierlei:

• Vertragsklauseln: Änderungsmitteilung, Schwachstellenmeldung und Zugang zu Protokollen gehören in jeden Vertrag mit einem Glied der Kette.
• Internes RACI: Legen Sie fest, was die Informationssicherheit, die KI-Governance-Funktion und der fachliche Verantwortliche jeweils entscheiden. Mehr dazu im Beitrag zur KI-Rechenschaftspflicht.
• Driftüberwachung als Compliance-Kontrolle: Schleichend verändertes Verhalten ist bei Agenten kein reines Qualitätsthema mehr, siehe unseren Beitrag zur Modelldrift.

Normen in Bewegung: Woran Sie sich halten, bis harmonisierte Normen vorliegen

Die Normung zur KI-Agenten-Sicherheit holt auf, ist aber nicht fertig. In den USA hat das Center for AI Standards and Innovation (CAISI) am 17. Februar 2026 die NIST AI Agent Standards Initiative gestartet. Sie ruht auf drei Säulen: von der Industrie getragene Standards, quelloffene Protokolle und Forschung zu Sicherheit und Identität von Agenten. Die Informationsanfrage zur Absicherung von KI-Agentensystemen endete am 9. März 2026, das Konzeptpapier des NCCoE zu Identität und Autorisierung von Agenten stand bis zum 2. April 2026 zur Kommentierung offen. Nach Research Notes der Cloud Security Alliance sind Kontroll-Overlays zu SP 800-53 für Einzelagenten- und Multi-Agenten-Umgebungen in Arbeit, ein Veröffentlichungstermin steht nicht fest. OWASP ergänzt die Top 10 um den Securing Agentic Applications Guide 1.0. Im September 2026 wurde dem Projekt außerdem der Agent Control Standard gespendet, der auf die Durchsetzung von Regeln zur Laufzeit zielt. Das CLTC der UC Berkeley hat im Februar 2026 das Agentic AI Risk-Management Standards Profile in Version 1.0 vorgelegt. Es erweitert das NIST AI RMF und beschreibt eine Governance, die mit dem Grad der Handlungsfähigkeit wächst, statt Autonomie als Ja-Nein-Frage zu behandeln. In der EU waren die harmonisierten Normen zur KI-Verordnung 2026 bei CEN-CENELEC noch in Vorbereitung. Bis eine davon im Amtsblatt zitiert wird, ist eine anerkannte öffentliche Taxonomie in Verbindung mit eigenen Aufzeichnungen die am besten vertretbare Struktur für KI-Agenten-Sicherheit. Für angrenzende Fragen lohnt der Blick in das Generative-KI-Profil NIST AI 600-1 und in die ISO 42001.

Häufige Fragen

Was bedeutet KI-Agenten-Sicherheit in einfachen Worten? KI-Agenten-Sicherheit sorgt dafür, dass ein Agent nur das tut, wofür er eingesetzt wurde, und dass Sie dies belegen können. Ein Agent plant, merkt sich Dinge, ruft Werkzeuge auf und handelt mit Rechten, die ihm jemand übertragen hat. Weil er Anweisungen nicht verlässlich von gelesenen Inhalten trennt, lässt er sich über ein Dokument umlenken. Der Schutz setzt daher weniger beim Prompt an als bei den Befugnissen: wenige Werkzeuge, enge Rechte, menschliche Freigabe für folgenreiche Aktionen und lückenlose Protokolle. Worin unterscheidet sich KI-Agenten-Sicherheit von KI-Sicherheit oder LLM-Sicherheit? KI-Sicherheit umfasst alle Systeme, vom Klassifikator bis zum Sprachmodell. LLM-Sicherheit betrachtet das Modell als Bauteil einer Anwendung. KI-Agenten-Sicherheit beginnt dort, wo das Modell zum Akteur wird, der selbst über Schritte und Werkzeugaufrufe entscheidet. Dadurch entstehen eigene Risiken: missbrauchte Werkzeuge, geerbte Identitäten, vergiftetes Gedächtnis, gefälschte Nachrichten zwischen Agenten und Fehler, die sich durch ein ganzes System fortpflanzen. OWASP führt dafür eine eigene Liste mit den Kennungen ASI01 bis ASI10, die in Anhang A auf die LLM Top 10 verweist. Ist die OWASP Top 10 for Agentic Applications verpflichtend? Nein. Die Liste ist ein Community-Dokument unter offener Lizenz, keine Norm und kein Gesetz. Verpflichtend ist der Nachweis, sobald eine Vorschrift greift: die KI-Verordnung für Hochrisiko-Systeme, die Cyberresilienz-Verordnung für Produkte mit digitalen Elementen, Artikel 32 DSGVO bei personenbezogenen Daten, NIS-2 und DORA für die erfassten Einrichtungen. Solange harmonisierte Normen fehlen, ist eine anerkannte öffentliche Taxonomie eine gut vertretbare Gliederung, um zu zeigen, welche Risiken der KI-Agenten-Sicherheit Sie geprüft und was Sie entschieden haben. Erfasst die KI-Verordnung KI-Agenten? Ja, als KI-Systeme. Die Kommission behandelt Agenten nicht als eigene Kategorie, die Definitionen in Artikel 3 decken sie ab. Ob ein Agent als Hochrisiko-System gilt, hängt von seinem Einsatzzweck ab, nicht von seiner Architektur. Seit dem 2. August 2026 gilt zudem Artikel 50: Ein Agent, der direkt mit Menschen interagiert, muss als KI-System erkennbar sein. Der Leitlinienentwurf vom 19. Mai 2026 beurteilt nach juristischer Kommentierung ein agentisches System als Ganzes. Die endgültige Fassung steht aus. Was heißt Least Agency in der Praxis der KI-Agenten-Sicherheit? Least Agency überträgt das Prinzip der minimalen Rechte auf die Autonomie. Für jeden Agenten fragen Sie: Braucht diese Aufgabe überhaupt einen Agenten, oder genügt ein fester Ablauf? Wenn ja, welche Werkzeuge sind unverzichtbar, und welche Aktionen darf er ohne Freigabe ausführen? Alles Übrige wird entfernt oder an eine menschliche Bestätigung gebunden. Halten Sie die Entscheidung schriftlich fest, auch wenn sie gegen den Agenten ausfällt: Dieser Vermerk ist später Ihr Nachweis. Was ist der erste Schritt zu mehr KI-Agenten-Sicherheit? Beginnen Sie mit dem Inventar. Erfassen Sie jeden Agenten mit Verantwortlichem, Zweck, Modell, Werkzeugen, Gedächtnis und Zugangsdaten. Danach folgen zwei schnelle Eingriffe: Entfernen Sie alle Werkzeuge, die ein Agent für seine Aufgabe nicht braucht, und geben Sie jedem Agenten eine eigene Identität statt eines geteilten Dienstkontos. Diese drei Maßnahmen senken den möglichen Schaden sofort und bilden die Grundlage für Freigaberegeln, Protokolle, Tests und Meldewege.

Fazit

Die Sicherheitsgemeinschaft hat ihren Teil geleistet: zehn Risiken, 86 Gegenmaßnahmen und eine Vorfallsbilanz, die jede Woche länger wird. Was sie nicht sagt, ist, welches Gesetz gilt, ab wann, und was eine Behörde sehen will. Dieser Teil der KI-Agenten-Sicherheit liegt bei Ihnen: Inventar, Entscheidung zu Least Agency, eigene Identität, Freigaberegel, Protokolle, Tests und Meldefristen. Die Meldepflichten der Cyberresilienz-Verordnung laufen bereits. Der Dezember 2027 bringt sowohl die Hochrisiko-Pflichten nach Anhang III als auch die vollständigen Produktanforderungen. Wer für jeden der zehn Einträge eine Entscheidung und einen Verantwortlichen vorweisen kann, ist vorbereitet. AI Sigil führt jeden Agenten im Register als eigenständigen Datensatz, mit seinen Werkzeugen, Risiken, Kontrollen, Verantwortlichen und Nachweisen, sodass die Antwort an einen Auditor ein Bericht ist und keine Rekonstruktion.