Compliance-Monitoring für KI-Systeme: ein Leitfaden

Auf einen Blick

• Compliance-Monitoring ist der fortlaufende Prozess, der prüft, ob Systeme, Kontrollen und Aktivitäten weiterhin mit den geltenden Gesetzen, Normen und Richtlinien im Einklang stehen.
• Bei KI-Systemen steht mehr auf dem Spiel, denn Modelle driften, Daten verschieben sich und Verhalten ändert sich, sodass ein gestern noch konformes System aus der Konformität fallen kann, ohne dass jemand eingreift.
• Drei Rahmenwerke machen Überwachung inzwischen zur Pflicht statt zur Wahl: die KI-Verordnung (Artikel 72), die ISO/IEC 42001 (Kapitel 9) und das KI-Risikomanagement-Rahmenwerk des NIST.
• Was bei einem KI-System zu überwachen ist, geht weit über Verfügbarkeit hinaus: Genauigkeit, Drift, Verzerrung, Sicherheit, Protokolle der menschlichen Aufsicht, Vorfälle und die Aktualität der Compliance-Nachweise.
• Periodische Audits behalten ihren Platz, doch Hochrisiko-KI-Systeme mit hoher Veränderungsrate brauchen kontinuierliches Compliance-Monitoring, um zwischen zwei Audits belastbar zu bleiben.

Was ist Compliance-Monitoring?

Compliance-Monitoring ist der fortlaufende Prozess, mit dem überprüft wird, ob die Aktivitäten, Kontrollen und Systeme einer Organisation weiterhin mit den für sie geltenden Gesetzen, Verordnungen, Normen und internen Richtlinien im Einklang stehen. Es ist der Unterschied zwischen der Annahme, dass eine Kontrolle funktioniert, und der Bestätigung, dass sie auch heute noch funktioniert. Die meisten Teams erreichen Compliance über zwei einander ergänzende Bewegungen. Das periodische Audit macht eine Momentaufnahme: Eine prüfende Person sieht sich eine Stichprobe von Kontrollen zu einem bestimmten Zeitpunkt an, in der Regel quartalsweise oder jährlich. Die kontinuierliche Überwachung dagegen läuft im Hintergrund, wo automatisierte Prüfungen festgelegte Signale beobachten und ein Problem in dem Moment melden, in dem eine Kontrolle nachlässt, statt erst Monate später beim nächsten Audit. Warum diese Unterscheidung zählt, ist schnell gesagt. Ein punktuelles Audit bestätigt, dass ein System am Tag der Prüfung konform war. Über die übrigen 364 Tage sagt es nichts. Bei stabilen Prozessen mit geringem Risiko ist diese Lücke vertretbar. Bei Systemen, die sich von selbst verändern, wird sie zum Risiko. Dieser Gedanke, ein Prozess und kein Ereignis, bildet den Kern des Compliance-Monitorings. Die Kontrollen selbst ändern sich kaum. Was sich ändert, ist das Umfeld, sind die Menschen, die sie nutzen, und im Fall der KI das System selbst. Diese Disziplin in eine Softwareplattform für KI-Compliance einzubetten, macht sie dauerhaft tragfähig statt zur Heldentat.

Warum Compliance-Monitoring bei KI-Systemen anders ist

Klassisches Compliance-Monitoring setzt voraus, dass das überwachte Objekt stabil ist. Eine Firewall-Regel, eine Aufbewahrungsrichtlinie oder eine Zugriffskontrolle verhält sich nächsten Monat wie heute, sofern niemand sie ändert. KI-Systeme brechen mit dieser Annahme. Ein KI-Modell ist auf dreierlei Weise ein bewegliches Ziel. Datendrift bedeutet, dass die Eingaben in der Produktion sich allmählich von den Trainingsdaten entfernen. Konzeptdrift bedeutet, dass sich die vom Modell gelernte Beziehung verschiebt, sodass dieselbe Eingabe nun eine andere Antwort ergeben sollte. Verhaltensänderung schließlich bedeutet, dass ein erneutes Training, eine Feinabstimmung oder ein neuer Prompt die Ausgaben ohne jede formale Freigabe verändern kann. Deshalb hält das KI-Risikomanagement-Rahmenwerk des NIST ausdrücklich fest, dass Risikomessung keine einmalige Bewertung sein kann: KI-Systeme entwickeln sich durch Datendrift, erneutes Training und Veränderungen ihrer Einsatzumgebung weiter, weshalb Überwachung fortlaufend sein muss, um aussagekräftig zu bleiben. Die jüngere Forschung geht weiter. In einer 2026 veröffentlichten Kartierung der Pflichten von KI-Agenten im EU-Recht beschreiben Nannini und Kolleginnen und Kollegen die Verhaltensdrift zur Laufzeit als genau an der Grenze des Begriffs der wesentlichen Änderung in Artikel 3(23) der KI-Verordnung liegend: Driftet ein System weit genug, kann es unbemerkt von der bewerteten Fassung zu einem inhaltlich anderen, nie bewerteten System wechseln. Ihr Schluss ist eindeutig: Ein Hochrisiko-System, dessen Drift sich nicht nachverfolgen lässt, kann nicht verlässlich nachweisen, dass es die Anforderungen der Verordnung erfüllt. Die praktische Folge ist, dass Compliance-Monitoring bei KI keine Formalität über einer starren Kontrolle ist. Es ist der einzige Weg, um zu wissen, ob das System in der Produktion noch jenes System ist, das Sie freigegeben haben, weshalb es neben dem KI-Risikomanagement steht und nicht erst danach.

Was die Regulierung verlangt: drei Rahmenwerke

Compliance-Monitoring für KI ist in Europa nicht mehr freiwillig, und die großen Normungsgremien laufen auf dieselbe Erwartung zu. Drei Rahmenwerke bestimmen, woran die meisten Organisationen gemessen werden, und eine KI-Compliance-Plattform muss alle drei zugleich erfüllen.

KI-Verordnung: Beobachtung nach dem Inverkehrbringen (Artikel 72)

Die KI-Verordnung macht Überwachung zu einer harten Rechtspflicht für Anbieter von Hochrisiko-KI-Systemen. Artikel 72 verlangt von jedem Anbieter, ein dokumentiertes System zur Beobachtung nach dem Inverkehrbringen einzurichten, das im Verhältnis zur Art der Technologie und zu den Risiken steht und das aktiv und systematisch Daten zur Leistung des Systems über dessen gesamte Lebensdauer erhebt, dokumentiert und analysiert. Erklärtes Ziel ist es, dem Anbieter die Bewertung der fortlaufenden Konformität der KI-Systeme mit den Anforderungen aus Kapitel III, Abschnitt 2 zu ermöglichen. Zwei Punkte prägen die Umsetzung. Erstens muss dieses System auf einem schriftlichen Plan zur Beobachtung nach dem Inverkehrbringen beruhen, der Teil der technischen Dokumentation ist und für den die Europäische Kommission eine einheitliche Vorlage bereitstellt. Zweitens gilt die Pflicht über die gesamte Lebensdauer des Systems, nicht nur bis zum Marktstart. Überwachung ist als jener Mechanismus angelegt, der ein Hochrisiko-System nach dem Inverkehrbringen konform hält, also genau die fortlaufende Lesart, für die dieser Leitfaden plädiert.

ISO/IEC 42001: Kapitel 9.1, Überwachung und Messung

Die ISO/IEC 42001, die Managementsystemnorm für KI, verankert Überwachung in ihrem Kapitel 9. Organisationen müssen sowohl die Leistung ihrer KI-Systeme als auch die umgebenden Governance-Prozesse überwachen, messen, analysieren und bewerten. In der Praxis heißt das, Kennzahlen zu wählen, darunter Genauigkeit, Zuverlässigkeit und Robustheit, die zur Risikobewertung und zu den KI-Zielen der Organisation passen, und Grenzen für akzeptable Fehlerquoten, Verzerrungsgrade und Datenqualität festzulegen. Kapitel 9 verlangt zudem Nachweise. Organisationen legen fest, wie und wann Daten erhoben werden, bewahren dokumentierte Ergebnisse auf, führen interne Audits des KI-Managementsystems durch und speisen die Erkenntnisse in die Managementbewertung ein. Die Norm versteht Überwachung als jene Eingabe, die fortlaufende Verbesserung erst möglich macht, nicht als einmal jährlich gesetztes Häkchen.

NIST AI RMF: MEASURE und MANAGE

Das KI-Risikomanagement-Rahmenwerk des NIST, außerhalb der EU weit verbreitet und innerhalb als freiwillige Ergänzung genutzt, verteilt die Arbeit auf seine Funktionen MEASURE und MANAGE. Unter MEASURE werden KI-Systeme fortlaufend überwacht, um Leistungsabweichungen und neue Risiken zu erkennen, durch Fairnesstests, Driftüberwachung, gegnerische Tests und die Prüfung erzeugter Ausgaben. Unter MANAGE lösen diese Messungen eine Reaktion aus, und das Rahmenwerk betont, dass Überwachung gerade deshalb fortlaufend ist, weil Systeme sich ständig verändern. Das NIST beschreibt auch die Entwicklungsrichtung: Governance-Praktiken bewegen sich von manuellen Prüfungen hin zu kontinuierlicher Überwachung, automatisierten Richtlinienprüfungen und integrierten Reporting-Dashboards. Das ist die operative Gestalt eines ausgereiften KI-Compliance-Monitorings.

Was bei einem KI-System zu überwachen ist

Eine Kontrolle zu überwachen ist binär: Sie ist vorhanden oder nicht. Ein KI-System zu überwachen bedeutet, eine Reihe von Signalen zu beobachten, die zusammen zeigen, ob das System weiterhin vertrauenswürdig und konform ist. Ein praktisches KI-Compliance-Monitoring-Programm verfolgt mindestens das Folgende.

• Leistungskennzahlen: Genauigkeit, Präzision, Trefferquote, Fehlerraten und Latenz im Verhältnis zu den zugesagten Schwellen.
• Drift: Datendrift in den Eingaben und Konzeptdrift im Modellverhalten, mit Warnungen, sobald eine Grenze überschritten wird.
• Fairness und Verzerrung: Ergebnisunterschiede zwischen geschützten Gruppen, in einer festgelegten Taktung geprüft und nicht nur beim Start.
• Robustheit und Sicherheit: Widerstandsfähigkeit gegen gegnerische Eingaben, Prompt-Injection und die offenen Handlungen, die ein agentisches System ausführen kann.
• Menschliche Aufsicht: Protokolle, die Übersteuerungen, Eskalationen und die Stellen zeigen, an denen eine Person geprüft oder eingegriffen hat.
• Vorfälle und Beinahe-Vorfälle: ein erfasster Zähler, denn die Zahl der KI-Vorfälle ist nach der ISO/IEC 42001 selbst eine überwachte Kennzahl.
• Status von Kontrollen und Nachweisen: welche Compliance-Kontrollen aktiv sind, wann jede zuletzt geprüft wurde und ob die zugehörigen Nachweise aktuell sind.

Der letzte Punkt ist die Stelle, an der Compliance-Monitoring und Leistungsüberwachung der KI zusammentreffen. Ein MLOps-Dashboard kann einen Rückgang der Genauigkeit melden; ein Compliance-Programm muss diesen Rückgang mit der bedrohten Pflicht und mit dem Nachweis verknüpfen, den eine prüfende Person verlangen wird. Jedes System und seine Pflichten in einem Register für KI-Systeme aktuell zu halten, macht diese Verknüpfung erst möglich.

Kontinuierliche oder periodische Überwachung (und wie man wählt)

Nicht jedes System braucht Echtzeitüberwachung, und das Gegenteil zu behaupten verschwendet Mittel. Die richtige Taktung folgt dem Risiko und der Veränderungsrate. Periodische Überwachung, eine geplante Prüfung je Quartal oder Halbjahr, ist vertretbar, wenn ein System ein geringes Risiko trägt, selten neu trainiert wird und in einer stabilen Umgebung läuft. Ein seit einem Jahr unverändertes Modell zur Dokumentenklassifikation braucht keine sekundengenaue Beobachtung. Kontinuierliche Überwachung rechtfertigt ihre Kosten, wenn ein System nach der KI-Verordnung als hochriskant gilt, häufig neu trainiert wird, Entscheidungen über Menschen trifft oder dort arbeitet, wo seine Eingaben sich rasch verschieben. Bei diesen Systemen ist der Abstand zwischen zwei Audits genau jener Zeitraum, in dem Drift und Verzerrung unbemerkt einsickern, und Artikel 72 erwartet von Anbietern, dass sie Leistungsdaten über die gesamte Lebensdauer erheben und auswerten, nicht in Intervallen. Die meisten Organisationen landen bei einem gestuften Modell: kontinuierliche automatisierte Überwachung für Hochrisiko-Systeme, leichtere periodische Prüfung für den langen Schwanz und eine klare Regel, die jedes System einer Stufe zuordnet. Diese Regel festzuhalten und sie zu überprüfen, wenn sich das Risikoprofil eines Systems ändert, gehört selbst zu einem belastbaren Überwachungsprogramm.

Wie man ein KI-Compliance-Monitoring-Programm aufbaut

Die Pflicht in ein funktionierendes Programm zu überführen, folgt einem erkennbaren Pfad.

1. Inventarisieren Sie Ihre KI-Systeme und deren Pflichten. Man überwacht nicht, was man nicht erfasst hat. Die Grundaufgabe des Anbieters ist, wie Nannini und Kolleginnen und Kollegen es formulieren, ein lückenloses Inventar der Handlungen eines Systems, seiner Datenflüsse, der verbundenen Systeme und der betroffenen Personen. Ordnen Sie jedes System den Rahmenwerken und Artikeln zu, die für es gelten.
2. Legen Sie Kennzahlen und Schwellen fest. Entscheiden Sie je System, wie gut aussieht: Genauigkeitsuntergrenzen, Driftobergrenzen, Fairnessgrenzen und der Punkt, an dem ein Signal zur Warnung wird.
3. Weisen Sie Verantwortung zu. Jedes überwachte Signal braucht eine benannte verantwortliche Person, die für das Handeln rechenschaftspflichtig ist, und die ISO/IEC 42001 erwartet, dass diese Verantwortung in der Managementbewertung sichtbar wird.
4. Automatisieren Sie die Nachweiserhebung. Manuelles Anfertigen von Screenshots übersteht keine kontinuierliche Überwachung. Ziehen Sie Kennzahlen, Protokolle und Kontrollstatus automatisch, damit die Nachweise aktuell und prüfbereit bleiben.
5. Bestimmen Sie Eskalation und Prüftakt. Legen Sie fest, wer wie schnell benachrichtigt wird und welcher Reaktionsweg gilt, wenn eine Schwelle überschritten wird.
6. Dokumentieren Sie für das Audit. Die KI-Verordnung verlangt einen schriftlichen Plan zur Beobachtung nach dem Inverkehrbringen in der technischen Akte: Gestalten Sie das Programm so, dass seine Ausgaben diesen Plan speisen, statt eine separate Niederschrift zu erfordern.

Gut umgesetzt erzeugt das Programm eine lebende Aufzeichnung, die zugleich als Nachweisbasis dient, also genau das, wofür eine Softwareplattform für KI-Compliance gebaut ist.

Häufige Fragen

Was bedeutet Compliance-Monitoring? Compliance-Monitoring ist der fortlaufende Prozess, der prüft, ob die Systeme, Kontrollen und Aktivitäten einer Organisation weiterhin mit den geltenden Gesetzen, Verordnungen, Normen und internen Richtlinien im Einklang stehen. Anders als ein einmaliges Audit ist es darauf ausgelegt, ein Problem dann zu erkennen, wenn es auftritt, und nicht erst bei der nächsten geplanten Prüfung. Bei einem KI-System bedeutet es auch, das Modell selbst zu beobachten, da sich Leistung und Verhalten ohne bewusste Aktualisierung ändern können. Ist Compliance-Monitoring für KI gesetzlich vorgeschrieben? Für Hochrisiko-KI-Systeme in der EU ja. Artikel 72 der KI-Verordnung verpflichtet Anbieter zu einem dokumentierten System der Beobachtung nach dem Inverkehrbringen, das Leistungsdaten über die gesamte Lebensdauer erhebt und auswertet, um die fortlaufende Konformität zu bewerten. Die ISO/IEC 42001 und das NIST AI RMF machen daraus eine Erwartung statt eines Gesetzes, doch zusammen setzen sie das Maß, das Prüfende und Kunden zunehmend anlegen. Worin unterscheiden sich kontinuierliche und periodische Überwachung? Periodische Überwachung prüft Kontrollen nach einem Zeitplan, etwa quartalsweise. Kontinuierliche Überwachung lässt automatisierte Prüfungen im Hintergrund laufen und meldet Auffälligkeiten nahezu in Echtzeit. Die periodische Prüfung passt zu stabilen Systemen mit geringem Risiko; die kontinuierliche Überwachung passt zu Hochrisiko- oder schnell veränderlichen KI-Systemen, bei denen Drift und Verzerrung zwischen zwei Audits auftreten können. Was sollte man bei einem KI-System überwachen? Neben der Verfügbarkeit Genauigkeit und Fehlerraten, Daten- und Konzeptdrift, Fairness und Verzerrung, Robustheit und Sicherheit, Protokolle der menschlichen Aufsicht und der Übersteuerung, Vorfälle und Beinahe-Vorfälle sowie den Status Ihrer Compliance-Kontrollen und ihrer Nachweise. Ziel ist, ein technisches Signal mit der Pflicht zu verknüpfen, die es berührt. Wie hängt Compliance-Monitoring mit Modelldrift zusammen? Modelldrift ist einer der Hauptgründe, warum KI kontinuierliches Compliance-Monitoring braucht. Während Eingaben und Verhalten driften, kann ein System, das seine Bewertung bestanden hatte, aus der Konformität fallen, und nach der KI-Verordnung kann ausreichende Drift eine wesentliche Änderung des Systems darstellen. Drift zu überwachen ist daher zugleich Qualitätsmaß und Compliance-Kontrolle. Lässt sich Compliance-Monitoring automatisieren? Größtenteils ja, und für KI muss es das. Das NIST AI RMF beschreibt den Wechsel von manuellen Prüfungen hin zu kontinuierlicher Überwachung, automatisierten Richtlinienprüfungen und Dashboards. Automatisierung hält Nachweise aktuell und macht die über die gesamte Lebensdauer reichende Überwachung, die Artikel 72 erwartet, praktikabel statt zum bloßen Vorsatz.

Fazit

Compliance-Monitoring hieß immer bestätigen, nicht annehmen. Für KI-Systeme wird dieser Grundsatz unumgänglich, denn das bewertete System und das in der Produktion laufende System können durch Drift, erneutes Training und veränderte Daten still auseinanderlaufen. KI-Verordnung, ISO/IEC 42001 und NIST AI RMF laufen auf dieselbe Antwort zu: kontinuierlich überwachen, an klaren Schwellen messen und Nachweise aktuell halten. Überwachung als operative Schicht der KI-Governance zu behandeln und nicht als jährliche Pflichtübung, hält ein System zwischen zwei Audits belastbar. Eine kontinuierliche Fähigkeit zum KI-Compliance-Monitoring macht aus diesem Grundsatz etwas, worauf sich Ihre Teams und Ihre Prüfenden verlassen können.