Autonome KI-Agenten: der Leitfaden für Governance und Compliance

Auf einen Blick

• Ein autonomer KI-Agent verfolgt ein Ziel und handelt mit wenig oder ohne menschliches Zutun, indem er ein Modell mit Planung, Gedächtnis und Werkzeugzugriff verbindet.
• Genau die Autonomie ist es, worauf die Regulierung abzielt: KI-Verordnung, NIST und ISO/IEC 42001 bemessen ihre Anforderungen daran, wie eigenständig ein System handelt.
• Die schwierigsten Fragen betreffen Verantwortung und Aufsicht, nicht Leistungsfähigkeit. Wenn ein Agent über mehrere Systeme hinweg in Maschinengeschwindigkeit handelt, wer haftet und wer kann ihn stoppen?
• Ein praxistaugliches Governance-Modell umfasst sechs Schritte: inventarisieren, klassifizieren, Aufsicht gestalten, technische Kontrollen anwenden, protokollieren und prüfen sowie Verantwortung entlang der Wertschöpfungskette zuweisen.
• Die meisten veröffentlichten Texte definieren autonome Agenten. Kaum einer erklärt einem Compliance-Team, wie es sie steuert. Dieser Leitfaden beantwortet die zweite Frage.

Was autonome KI-Agenten wirklich sind

Ein autonomer KI-Agent ist Software, die ein Ziel erfassen, über den Weg dorthin entscheiden und danach handeln kann, ohne dass ein Mensch jeden Schritt freigibt. Salesforce, Microsoft und NVIDIA beschreiben denselben Kern: Der Agent nimmt seine Umgebung wahr, plant durch Schlussfolgern, handelt über angebundene Werkzeuge und lernt aus dem Ergebnis (NVIDIA-Glossar). Entfernt man den Marketinglack, besteht ein Agent aus zwei Teilen: einem Modell, das das Schlussfolgern liefert, und einer Gerüstschicht, die Planung, Gedächtnis und Zugriff auf Werkzeuge, Dateien und Schnittstellen bereitstellt. Diese Gerüstschicht ist der Unterschied zwischen einem Chatbot und einem Agenten. Ein Chatbot antwortet. Ein Agent handelt. Er kann ein Ticket eröffnen, Geld zwischen Konten verschieben, eine Konfiguration ändern, eine E-Mail senden oder einen anderen Dienst aufrufen und dann anhand des Ergebnisses über den nächsten Schritt entscheiden. Die Future Society definiert Agenten in ihrer Analyse von 2025 dazu, wie die KI-Verordnung Agenten erfasst, funktional als Systeme, die eigenständig komplexe, langfristige Ziele verfolgen, und technisch als ein Allzweckmodell samt Gerüst aus Schlussfolgerungsketten und Werkzeugzugriff (The Future Society). Es hilft, Autonomie als ein Spektrum statt als einen Schalter zu begreifen:

• Assistive KI reagiert auf eine Eingabe und endet dann.
• Agentische KI reiht mehrere Schritte aneinander, holt aber häufig eine Rückmeldung ein.
• Autonome KI durchläuft eine vollständige Schleife vom Ziel zum Ergebnis und meldet sich nur, wenn sie es braucht, oder wenn sie fertig ist.

Je weiter rechts auf diesem Spektrum, desto weniger sieht ein Mensch von jeder einzelnen Entscheidung und desto stärker muss sich Governance von der Prüfung der Ausgaben hin zur Begrenzung des Verhaltens verlagern. Wer das Programm noch auf Gesamtebene ordnet, findet in unserem Leitfaden zur KI-Governance das Fundament, auf dem dieser Beitrag aufbaut.

Warum autonome Agenten die klassische Governance sprengen

Die meisten Governance-Konzepte für KI wurden für Systeme entworfen, die eine Ausgabe erzeugen, die ein Mensch anschließend nutzt. Ein Risikomodell bewertet einen Antrag, und ein Mensch entscheidet. Ein Sprachmodell entwirft einen Text, und ein Mensch überarbeitet ihn. Autonome Agenten beseitigen diese Pause. Sie führen die Handlung selbst aus, wodurch sich das Risiko von der Qualität einer Ausgabe zu den Folgen eines Verhaltens verschiebt. Drei Eigenschaften machen Agenten schwerer steuerbar als die Modelle in ihrem Inneren. Erstens die langfristige Planung. Ein Agent verkettet viele Schritte, und kleine Fehler summieren sich. Eine falsche Annahme in Schritt zwei kann zwanzig Folgehandlungen auslösen, bevor jemand es bemerkt. Die Handlung ist das Ergebnis, und eine Handlung lässt sich schwerer rückgängig machen als ein Text. Zweitens das Problem der vielen Hände. Ein Agent läuft meist auf einem Modell, das ein Unternehmen baut, das ein zweites in ein Produkt einbettet und das ein drittes einsetzt. Die Future Society nennt dies die zentrale Herausforderung der Agenten-Governance: Verantwortung verteilt sich auf Modellanbieter, Systemanbieter und Betreiber, von denen jeder nur einen Teil des Kontexts und der Kontrollen hält (The Future Society). Geht etwas schief, bleibt die Verantwortung verschwommen, solange die Pflichten nicht vorab zugewiesen wurden. Drittens die Anfälligkeit für Angriffe. Weil Agenten externe Inhalte lesen und darauf reagieren, lassen sie sich kapern. Eine Prompt-Injection schleust feindselige Anweisungen in eine Webseite, ein Dokument oder eine E-Mail ein, und der Agent befolgt sie statt seiner eigentlichen Aufgabe. NIST-Untersuchungen aus Red-Team-Tests zeigen, dass neuartige Angriffe auf KI-Agenten in 81 % der Fälle gelingen, gegenüber 11 % bei Standardabwehr (NIST-Informationsersuchen). Ein gekaperter Agent mit Werkzeugzugriff ist kein Inhaltsproblem, sondern ein Akteur innerhalb Ihrer Systeme, der die Arbeit des Angreifers verrichtet. Die zu modellierenden Angriffstechniken sind in Referenzwerken wie MITRE ATLAS erfasst. Nimmt man zu allen drei Eigenschaften noch die Geschwindigkeit hinzu, wird klar: Agenten handeln schneller, als Menschen zusehen können, weshalb eine Aufsicht als nachträgliche Prüfung scheitert. Aufsicht muss in den Handlungspfad des Agenten eingebaut sein, nicht im Nachhinein aufgesetzt.

Wie Regulierung und Normen autonome Agenten behandeln

Ein agentenspezifisches Gesetz gibt es noch nicht. Quer durch die großen Regelwerke zeigt sich jedoch ein klares Muster: Je autonomer ein System handelt, desto mehr wird von demjenigen verlangt, der es betreibt. Drei Rahmenwerke zählen vor allem.

KI-Verordnung: Autonomie erhöht die Messlatte

Die KI-Verordnung benennt Agenten nicht, erreicht sie aber auf zwei Achsen, wie die Analyse der Future Society darlegt. Die erste ist das zugrunde liegende Modell: Agenten, die auf Allzweck-KI-Modellen mit systemischem Risiko aufsetzen, ziehen deren Anbieter in die Pflichten aus Kapitel V (Artikel 55). Die zweite ist das Agentensystem selbst, eingeordnet nach Kapitel III. Ein Agent, der als Sicherheitsbauteil oder in einem Anwendungsfall des Anhangs III dient, ist hochriskant, und weil ein Allzweckagent vielen Zwecken dienen kann, kann er standardmäßig in den Hochrisikobereich fallen, sofern sein Anbieter solche Zwecke nicht ausdrücklich ausschließt (The Future Society). Ist ein System hochriskant, greift Artikel 14 zur menschlichen Aufsicht unmittelbar, und sein Wortlaut wirkt wie für die Autonomie geschrieben. Hochrisiko-KI-Systeme müssen so gestaltet sein, dass sie „während der Dauer ihrer Verwendung von natürlichen Personen wirksam beaufsichtigt werden können“, und die aufsichtsführende Person muss „entscheiden“ können, „das System nicht zu verwenden oder dessen Ausgabe anderweitig zu missachten, zu übergehen oder rückgängig zu machen“, sowie „in den Betrieb eingreifen oder das System über eine Stopptaste oder ein ähnliches Verfahren unterbrechen“ können (Artikel 14 der KI-Verordnung). Der entscheidende Satz knüpft alles an die Autonomie: Die Aufsichtsmaßnahmen müssen „den Risiken, dem Grad der Autonomie und dem Nutzungskontext“ angemessen sein. Das ist der ganze Punkt: Mehr Autonomie bedeutet von Gesetzes wegen mehr Aufsicht. Offen bleibt die Machbarkeit. Wie eine Analyse von Tech Policy Press argumentiert, setzt Artikel 14 voraus, dass sich das Verhalten eines Agenten lesbar machen und seine Handlungen anhalten oder rückgängig machen lassen, was für Agenten, die in Maschinengeschwindigkeit über verteilte Zuständigkeiten hinweg handeln, technisch schwer ist, und kein agentenspezifischer Durchführungsrechtsakt hat die Frage geklärt. Die Transparenzpflichten aus Artikel 50 fügen einen zweiten Strang hinzu: Menschen sollten wissen, wenn sie es mit einem KI-System zu tun haben. Für die ausführliche Zuordnung siehe unseren Vergleich der Governance-Rahmenwerke. In Deutschland liefern das BSI und der BfDI bereits praktische Orientierung zu Aufsicht und Sicherheit, an die Teams anknüpfen können.

NIST: Kontroll-Overlays für Agenten

In den USA bewegt sich NIST am schnellsten beim Konkreten. Sein Center for AI Standards and Innovation hat im Februar 2026 eine Normungsinitiative für KI-Agenten gestartet, und das greifbarste Ergebnis in Arbeit ist ein Satz von COSAiS-Kontroll-Overlays zu SP 800-53, der Einzelagenten- und Mehragentensysteme abdeckt und Kontrollen aus ausdrücklichen Bedrohungsmodellen ableitet (NIST-COSAiS-Konzeptpapier). Das setzt auf dem KI-Risikomanagement-Rahmenwerk des NIST auf, dessen Funktionen Steuern, Abbilden, Messen und Bewältigen dem Agentenrisiko bereits eine Struktur geben. Unser Praxisleitfaden zum NIST AI RMF zeigt die Umsetzung.

ISO/IEC 42001: das Managementgerüst

Weder die KI-Verordnung noch NIST erklären, wie man das Programm aufbaut, das diese Pflichten trägt. ISO/IEC 42001 tut es. Als zertifizierbare Norm für ein KI-Managementsystem liefert sie Leitlinie, Rollen, Risikobehandlung und Lebenszykluskontrollen, die aus einmaliger Aufsicht ein wiederholbares System machen. Behandeln Sie sie als Gefäß für die Agenten-Governance und nicht als getrennte Übung; unsere Erläuterung zu ISO 42001 stellt den Aufbau dar.

Ein Governance-Betriebsmodell für autonome Agenten

Rahmenwerke beschreiben das Ziel. Sie sagen nicht, was am Montagmorgen zu tun ist. Hier ist ein Modell in sechs Schritten, das die obigen Pflichten in ein echtes Agenten-Governance-Programm überführt. Es stützt sich auf die vier Säulen, die die Future Society aus der Literatur ableitet (Risikobewertung, Transparenz, technische Einsatzkontrollen und menschliche Aufsicht), neu geordnet nach der Arbeitslogik eines Teams.

1. Jeden Agenten inventarisieren und registrieren

Man steuert keinen Agenten, von dessen Existenz man nichts weiß. Der erste Fehlermodus sind Schatten-Agenten: Werkzeuge, die in den Fachbereichen mit Zugangsdaten und Werkzeugzugriff entstehen, aber nie registriert werden. Bauen Sie ein einziges Inventar, in dem jeder Agent einen Eigentümer, einen Zweck, die erreichbaren Werkzeuge und Daten sowie eine eindeutige Kennung besitzt, die seine Handlungen zurechenbar macht. Das ist dieselbe Disziplin, die Schatten-KI beherrschbar macht, angewandt auf Systeme, die handeln statt nur zu antworten.

2. Jeden Agenten klassifizieren und nach Risiko einstufen

Mit dem Inventar in der Hand klassifizieren Sie jeden Agenten nach den anwendbaren Regimen. Führen Sie eine Anhang-III-Prüfung auf Hochrisikonutzung durch, klären Sie, ob das zugrunde liegende Modell Sie in GPAI-Pflichten zieht, und stufen Sie den Agenten nach der Reichweite seiner Handlungen ein, nicht nach der Cleverness seines Modells. Für Agenten, die Rechte von Personen berühren, ist die Grundrechte-Folgenabschätzung das passende Instrument, dessen Mechanik sich mit der Folgenabschätzung überschneidet, die GRC-Teams beim Datenschutz ohnehin leisten.

3. Menschliche Aufsicht vor dem Einsatz gestalten

Artikel 14 wird durch Gestaltung erfüllt, nicht durch guten Willen. Entscheiden Sie je Agent und je Handlungsklasse, welcher Aufsichtsmodus gilt:

• Mensch in der Schleife: Der Agent schlägt vor, und eine Person genehmigt jede folgenreiche Handlung vor der Ausführung.
• Mensch über der Schleife: Der Agent handelt, und eine Person überwacht, kann eingreifen und ihn stoppen.
• Mensch im Befehl: Der Agent arbeitet innerhalb harter Grenzen, die eine Person setzt, prüft und widerrufen kann.

Handlungen mit großer Wirkung (Geld bewegen, Zugriffe ändern, Kunden kontaktieren) gehören hinter einen Kontrollpunkt oder eine Freigabe. Jeder Agent braucht einen funktionierenden Stopp, die buchstäbliche „Stopptaste“ aus Artikel 14, und eine benannte Person, deren Aufgabe es ist, sie zu betätigen.

4. Technische Einsatzkontrollen anwenden

Aufsicht auf dem Papier scheitert ohne Kontrollen im Code. Geben Sie Agenten Zugriff nach dem Prinzip der geringsten Rechte, damit ein gekaperter Agent wenig ausrichten kann. Ergänzen Sie Handlungsverweigerungen in Echtzeit, damit der Agent ablehnt, was außerhalb seines Auftrags liegt, sowie eine Notabschaltung, die ein Betreiber oder ein automatisierter Schutzmechanismus auslösen kann. Das sind die technischen Einsatzkontrollen, die die europäische Wertschöpfungsketten-Analyse Anbietern und Betreibern gemeinsam zuweist, und zugleich die vorderste Verteidigungslinie gegen die vom NIST gemessenen Prompt-Injection-Angriffe.

5. Protokollieren, prüfen und überwachen

Jede folgenreiche Handlung eines Agenten sollte einen unveränderlichen, abfragbaren Datensatz erzeugen: was er tat, warum, mit wessen Befugnis und mit welchem Ergebnis. Aktivitätsprotokolle sind zugleich ein Aufsichtswerkzeug und die Beweisgrundlage für eine Prüfung oder einen Vorfall. Verursacht ein Agent Schaden, müssen Sie die Kette rekonstruieren, weshalb die Agentenprotokollierung in denselben Strang wie Ihr Prozess zur KI-Vorfallmeldung nach Artikel 73 einfließen sollte.

6. Verantwortung entlang der Wertschöpfungskette zuweisen

Halten Sie schließlich schriftlich fest, wer wofür haftet, bevor etwas schiefgeht. Modellanbieter, Systemanbieter und Betreiber beherrschen jeweils andere Risiken und halten andere Nachweise. Verträge und eine interne RACI-Matrix sollten jede Pflicht (Überwachungsinfrastruktur, Alarmschwellen, operative Aufsicht) dem Akteur zuordnen, der sie tatsächlich erfüllen kann. So hört das Problem der vielen Hände auf, eine Ausrede zu sein, und wird zu einer Zuweisung. Eine Governance-Plattform, die Inventar, Klassifizierungen, Kontrollen und Nachweise an einem Ort bündelt, statt über einen Flickenteppich getrennter Werkzeuge, hält diese Zuweisung aktuell.

Autonome Agenten, agentische KI und Automatisierung

Die Begriffe werden lose verwendet, und die Unterschiede zählen für die Governance, weil jede Stufe ein anderes Risiko trägt.

• Klassische Automatisierung folgt festen Regeln. Sie ist vorhersehbar und leicht zu steuern, kann aber nichts bewältigen, wofür sie nicht geskriptet wurde.
• Agentische KI nutzt ein Modell, um über mehrere Schritte zu planen und sich anzupassen, arbeitet aber meist innerhalb einer definierten Aufgabe mit häufigen menschlichen Kontrollpunkten.
• Autonome KI-Agenten durchlaufen die volle Schleife mit minimalem menschlichem Zutun, wählen ihre Schritte selbst und nutzen Werkzeuge, um ein Ziel zu erreichen.

Eine Regel-Engine, die eine Rechnung markiert, ist Automatisierung. Ein System, das die Rechnung liest, sie für gültig befindet, die Zahlung terminiert und das Hauptbuch abgleicht, ist ein autonomer Agent. Der Governance-Unterschied ist nicht subtil: Automatisierung braucht Tests, während autonome Agenten Aufsicht, Kontrollen und Verantwortung verlangen, weil sie folgenreiche Entscheidungen eigenständig treffen.

Häufige Fehler bei der Steuerung autonomer Agenten

• Agenten wie gewöhnliche Software behandeln. Änderungsmanagement und Zugriffsprüfungen für statische Anwendungen übersehen, dass das Verhalten eines Agenten emergent ist, nicht festgelegt.
• Ungesteuerter Werkzeugzugriff. Das Risiko eines Agenten ist die Summe dessen, was seine Werkzeuge berühren können. Zu weit gefasste Zugangsdaten machen aus einem kleinen Fehler einen großen.
• Ein Not-Aus, der nicht funktioniert. Eine Stopptaste, die niemand getestet hat oder die eine laufende Handlung nicht unterbrechen kann, ist nur Kulisse.
• Aufsicht, die nicht skaliert. Jede Handlung zu genehmigen, verfehlt den Zweck, Tausende Handlungen pro Minute zu überwachen, ist unmöglich. Passen Sie den Aufsichtsmodus an die Wirkung der Handlung an.
• Kein Inventar. Jede andere Kontrolle setzt das Wissen um die Existenz des Agenten voraus. Schatten-Agenten sind die Grundursache der meisten Vorfälle.

Häufige Fragen

Was ist ein autonomer KI-Agent, einfach erklärt? Es ist Software, die ein Ziel entgegennimmt, über den Weg entscheidet und die Schritte mithilfe von Werkzeugen und Daten selbst ausführt, ohne dass eine Person jede Handlung freigibt. Das prägende Merkmal ist, dass er handelt, wo ein Chatbot nur antwortet. Ist ChatGPT ein autonomer Agent? Für sich genommen nein. Ein eigenständiger Chatbot beantwortet Eingaben und endet. Agentisch wird er, sobald man ihn mit Planung, Gedächtnis und Werkzeugzugriff ausstattet, sodass er über Systeme hinweg auf ein Ziel hin handeln kann. Das Modell ist das Gehirn; der Agent ist das Gehirn samt dem Gerüst, das ihn handeln lässt. Werden autonome KI-Agenten von der KI-Verordnung erfasst? Ja, mittelbar. Die Verordnung nennt Agenten nicht, erreicht sie aber über das zugrunde liegende Allzweckmodell und über die Hochrisiko-Einstufung des Systems. Ist ein Agent hochriskant, verlangt Artikel 14 eine wirksame menschliche Aufsicht, bemessen am Grad der Autonomie des Systems (Artikel 14). Was ist das größte Risiko autonomer KI-Agenten? Die Verbindung von Autonomie und Werkzeugzugriff. Ein Agent, der auf die Welt einwirken kann, lässt sich auch dazu kapern, gegen Sie zu wirken. NIST maß in Red-Team-Tests eine Angriffserfolgsquote von 81 %, weshalb geringste Rechte und ein funktionierender Stopp nicht verhandelbar sind. Worin unterscheiden sich agentische KI und autonome KI-Agenten? Agentische KI bezeichnet die Fähigkeit, über mehrere Schritte zu planen und zu handeln. Ein autonomer KI-Agent ist ein System, das diese Fähigkeit mit minimalem menschlichem Zutun ausübt und eine vollständige Schleife vom Ziel zum Ergebnis eigenständig durchläuft. Die meisten agentischen Systeme halten heute einen Menschen in oder über der Schleife; volle Autonomie ist das obere Ende desselben Spektrums. Wie steuert man autonome KI-Agenten in der Praxis? Inventarisieren Sie jeden Agenten, klassifizieren und stufen Sie ihn nach Risiko ein, gestalten Sie den menschlichen Aufsichtsmodus vor dem Einsatz, erzwingen Sie technische Kontrollen wie geringste Rechte und einen Not-Aus, protokollieren Sie jede folgenreiche Handlung und weisen Sie die Verantwortung zwischen Modellanbieter, Systemanbieter und Betreiber zu.

Fazit

Autonome KI-Agenten bringen KI vom Rat zur Tat, und die Governance muss mitziehen. Die Rahmenwerke weisen bereits in dieselbe Richtung: Aufsicht, Kontrollen und Verantwortung wachsen mit der Autonomie. Was fehlte, ist ein Betriebsmodell, das dieses Prinzip in den Arbeitsalltag übersetzt, und inventarisieren, klassifizieren, Aufsicht gestalten, kontrollieren, protokollieren und Verantwortung zuweisen ist dieses Modell. AI Sigil gibt regulierten Organisationen ein einziges Führungssystem, um es zu betreiben, damit jeder Agent in Ihrem Bestand bekannt, klassifiziert, beaufsichtigt und prüfbar ist. Beginnen Sie damit, Ihr KI-Governance-Rahmenwerk abzubilden, und holen Sie Ihre Agenten hinein, bevor sie sich selbst hineinholen.