Auditierbarkeit von KI: Was ein System prüfbar macht (und wie man es nachweist)

Auf einen Blick

• Auditierbarkeit bezeichnet den Grad, in dem sich Daten, Entscheidungen und Verhalten eines KI-Systems im Nachhinein unabhängig prüfen und bestätigen lassen.
• Sie ist keine freiwillige gute Praxis mehr: Artikel 12 der KI-Verordnung schreibt für Hochrisiko-KI-Systeme die automatische Aufzeichnung von Ereignissen über den gesamten Lebenszyklus vor.
• Fünf Bausteine machen ein System prüfbar: Nachverfolgbarkeit, Ereignisprotokollierung, Dokumentation, Aufzeichnung von Entscheidungen und menschlicher Aufsicht sowie Nachweise, die mit jeder Maßnahme verknüpft sind.
• Auditierbarkeit unterscheidet sich von Transparenz, Erklärbarkeit und Verantwortlichkeit. Sie ist die Eigenschaft, die es einem Dritten erlaubt, das Geschehen zu rekonstruieren und zu prüfen.
• Der schwierigste Fall ist nicht-deterministische KI (große Sprachmodelle und Agenten), bei der die Prüfspur die Denkschritte und Werkzeugaufrufe erfassen muss, nicht nur das Endergebnis.

Was ist Auditierbarkeit?

Auditierbarkeit bezeichnet das Ausmaß, in dem sich die Daten, Handlungen und Entscheidungen eines Systems nach dem Ereignis unabhängig prüfen und bestätigen lassen. Ein System ist auditierbar, wenn ein Dritter (eine interne Revision, eine Aufsichtsbehörde, das Risikoteam eines Kunden) rekonstruieren kann, was es getan hat, mit welchen Eingaben und unter wessen Befugnis, und anschließend bestätigen kann, dass die Aufzeichnung vollständig und unverändert ist.

Der Begriff klingt verwandt mit „Hörbarkeit“, die sich auf Schall bezieht, doch beide haben nichts miteinander zu tun. In der Forschung hat Auditierbarkeit eine engere Bedeutung (ob ein anderer Forscher das Vorgehen nachvollziehen und bestätigen kann), das Prinzip bleibt aber dasselbe: eine dokumentierte, prüfbare Spur.

Lange galt Auditierbarkeit als Eigenschaft von Finanzsystemen und IT-Kontrollen. KI verschiebt den Einsatz. Wenn ein Modell eine Entscheidung trifft oder prägt, die einen Menschen betrifft (ein Kredit, eine Diagnose, eine Bewerbervorauswahl), trägt die Antwort „das System hat so entschieden“ nicht. Auditierbarkeit verwandelt eine undurchsichtige Ausgabe in einen Nachweis, für den man einstehen kann.

Auditierbarkeit gegenüber Transparenz, Nachverfolgbarkeit, Erklärbarkeit und Verantwortlichkeit

Diese Begriffe überschneiden sich, sind aber nicht austauschbar:

• Transparenz ist Offenlegung: mitzuteilen, dass KI im Einsatz ist und wie sie grob funktioniert.
• Erklärbarkeit ist Begründung: zu zeigen, warum ein Modell eine bestimmte Ausgabe erzeugt hat.
• Nachverfolgbarkeit ist Herkunft: eine Ausgabe mit den Daten, der Modellversion und der Konfiguration zu verknüpfen, die sie erzeugt haben.
• Verantwortlichkeit benennt, wer für das Ergebnis einsteht.
• Auditierbarkeit ist die Eigenschaft, die die anderen vier prüfbar macht. Sie ist die aufgezeichnete, manipulationssichere Spur, mit der ein Dritter die Aussagen überprüfen kann.

Ein Modell kann transparent und dennoch nicht auditierbar sein, wenn keine dauerhafte Spur belegt, was im Produktivbetrieb tatsächlich geschah.

Warum Auditierbarkeit für KI zählt

Klassische Software ist deterministisch: Dieselbe Eingabe ergibt dieselbe Ausgabe, und der Code ist die Erklärung. KI-Systeme funktionieren anders. Ihr Verhalten hängt von Trainingsdaten, Modellgewichten, Konfiguration und Eingaben ab, die sich im Lauf der Zeit ändern. Damit verschiebt sich, was Governance nachweisen muss: weg von „der Ausgabe vertrauen“, hin zu „den Prozess belegen“.

Vier Kräfte machen Auditierbarkeit für KI unverzichtbar:

• Regulierung. Die KI-Verordnung, sektorspezifische Regeln und neue nationale Gesetze verlangen inzwischen Protokolle, Dokumentation und Aufzeichnungen, die auf Verlangen vorzulegen sind.
• Vorfalluntersuchung. Wenn ein KI-System Schaden verursacht oder unerwartet handelt, lautet die erste Frage „was ist passiert?“. Ohne Prüfspur bleibt sie unbeantwortet.
• Drift. Modelle verschlechtern sich und verschieben sich. Erst eine kontinuierliche Protokollierung zeigt, dass ein System sich nicht mehr so verhält wie zum Zeitpunkt der Validierung.
• Geschäftliches Vertrauen. Großkunden und Einkäufer verlangen vor der Unterschrift zunehmend Nachweise der Governance. Auditierbarkeit ist dieser Nachweis.

Was ein KI-System auditierbar macht: fünf Bausteine

Auditierbarkeit ist keine Funktion, die man einschaltet. Sie entsteht aus fünf Bausteinen, die zusammenwirken.

1. Nachverfolgbarkeit. Jede Ausgabe sollte sich mit den verwendeten Daten, der erzeugenden Modellversion und der damals geltenden Konfiguration verknüpfen lassen. Daten- und Modellherkunft bilden das Rückgrat.
2. Ereignisprotokollierung. Das System muss bedeutsame Ereignisse automatisch aufzeichnen: Eingaben, Ausgaben, Fehler, Konfigurationsänderungen, menschliche Eingriffe. Protokolle sollten unveränderlich und manipulationssicher sein, damit ein Prüfer einer nicht nachträglich bearbeiteten Spur vertrauen kann.
3. Dokumentation. Technische Dokumentation, Modellkarten und Datenblattbeschreibungen halten fest, was das System ist, womit es trainiert wurde und wo seine bekannten Grenzen liegen. Das ist das statische Gegenstück zu den dynamischen Protokollen.
4. Aufzeichnung von Entscheidungen und Aufsicht. Wenn ein Mensch eine KI-Entscheidung prüft, genehmigt oder übersteuert, sollte diese Handlung festgehalten werden. Menschliche Aufsicht ist nur dann aussagekräftig, wenn sie eine Spur hinterlässt.
5. Nachweise, mit Maßnahmen verknüpft. Jede Governance-Maßnahme (Verzerrungstests, Zugriffskontrolle, Aufbewahrung) sollte auf einen konkreten Nachweis ihrer Anwendung verweisen. Eine Prüfung kontrolliert Maßnahmen anhand von Nachweisen, nicht von Versprechen.

Allgemeine Leitfäden enden bei „Transparenz, Verantwortlichkeit, Nachverfolgbarkeit, Integrität, Dokumentation“. Für KI ist der entscheidende Zusatz die Verbindung zwischen jeder Maßnahme und dem Nachweis, der sie stützt, denn genau das prüft eine Revision.

Der regulatorische Auftrag: was das Gesetz tatsächlich verlangt

Auditierbarkeit war früher eine Frage guter Praxis. Für KI wird sie zur rechtlichen Pflicht.

KI-Verordnung, Artikel 12 (Aufzeichnungspflichten)

Die KI-Verordnung ist eindeutig. Artikel 12 Absatz 1 lautet: „Hochrisiko-KI-Systeme müssen technisch die automatische Aufzeichnung von Ereignissen (Protokollierung) während des Lebenszyklus des Systems ermöglichen.“ Entscheidend ist das Wort „automatisch“: Ein handgeführtes Notizbuch genügt nicht.

Die Protokolle müssen drei Zwecke stützen: (a) Situationen zu erkennen, in denen das System ein Risiko darstellen kann, (b) die Beobachtung nach dem Inverkehrbringen nach Artikel 72 zu erleichtern und (c) den Betrieb des Systems im Sinne von Artikel 26 Absatz 5 zu überwachen. Für die biometrische Fernidentifizierung geht Artikel 12 weiter und nennt Mindestangaben, darunter den Zeitraum jeder Nutzung, die Referenzdatenbank, die Eingabedaten und die Personen, die die Ergebnisse überprüft haben.

Die Aufbewahrung regeln die Artikel 19 und 26, die ein Minimum von sechs Monaten festlegen, sofern kein anderes Recht längere Fristen verlangt. Die Pflichten für Hochrisikosysteme nach Anhang III gelten ab dem 2. August 2026, und Verstoße können mit Geldbußen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden. Die Verordnung schreibt kein Protokollformat vor. Technische Normen (etwa prEN 18229-1 und ISO/IEC DIS 24970) befinden sich noch in Arbeit, daher sollten Anbieter schon jetzt eine solide Protokollierung gestalten, statt zu warten.

KI-Verordnung, Artikel 11 und Anhang IV (technische Dokumentation)

Protokolle sind die dynamische Hälfte der Auditierbarkeit. Artikel 11 deckt die statische Hälfte ab: die technische Dokumentation, die vor dem Inverkehrbringen eines Hochrisikosystems zu erstellen und aktuell zu halten ist, nach der Struktur des Anhangs IV. Gemeinsam definieren die Artikel 11 und 12 die dokumentarische und betriebliche Aufzeichnung, die ein Hochrisikosystem vorhalten muss.

ISO/IEC 42001

ISO/IEC 42001:2023, die erste zertifizierbare Norm für KI-Managementsysteme, übersetzt diese Erwartungen in auditierbare Maßnahmen. Die Maßnahme A.6.2.8 in Anhang A (Aufzeichnung von Ereignisprotokollen) ist in der Praxis die Maßnahme für die Prüfspur: Sie ist das, was ein Zertifizierungsauditor prüft, um das Vorhandensein einer Spur zu bestätigen. Die Zertifizierung verlangt zudem die Nachverfolgbarkeit von KI-Entscheidungen, Risikobewertungen und den über den Lebenszyklus angewandten Maßnahmen.

NIST AI RMF

Das KI-Risikomanagement-Rahmenwerk des NIST gliedert Governance in vier Funktionen (Govern, Map, Measure, Manage). Nachverfolgbarkeit und Dokumentation durchziehen sie alle. Das NIST zertifiziert nicht, gibt aber vor, wie Maßnahmen umzusetzen sind, und passt natürlich zur ISO-42001-Klammer.

So machen Sie Ihre KI-Systeme auditierbar: ein Betriebsmodell

Diese Anforderungen zu erfüllen ist ein Programm, kein einmaliges Projekt. Eine gangbare Reihenfolge:

1. Inventarisieren Sie Ihre KI-Systeme. Was nicht erfasst ist, lässt sich nicht prüfen. Schatten-KI, also ohne Governance eingeführte Werkzeuge, ist der häufigste blinde Fleck.
2. Legen Sie je System fest, was zu protokollieren ist. Ordnen Sie jedes System den drei Zwecken des Artikels 12 zu und entscheiden Sie, welche Ereignisse zählen: Eingaben, Ausgaben, Übersteuerungen, Konfigurationsänderungen.
3. Machen Sie Protokolle unveränderlich und legen Sie eine Aufbewahrung fest. Nutzen Sie manipulationssicheren Speicher und eine Frist von mindestens sechs Monaten, länger, wo Sektorrecht es verlangt.
4. Halten Sie technische Dokumentation und Modellkarten aktuell. Pflegen Sie sie mit jeder Änderung, nicht nur einmalig zum Start.
5. Zeichnen Sie die menschliche Aufsicht auf. Erfassen Sie jede Prüfung, Genehmigung und Übersteuerung, damit Aufsicht nachweisbar ist und nicht nur angenommen wird.
6. Verknüpfen Sie jede Maßnahme mit ihrem Nachweis. Hinterlegen Sie für jede Maßnahme das Artefakt, das ihre Anwendung belegt, und halten Sie die Verknüpfung aktiv.
7. Führen Sie Bereitschaftsprüfungen durch. Testen Sie die Spur, bevor es eine Aufsichtsbehörde oder ein Kunde tut. Ein durchgängiger sozio-technischer Audit, wie ihn die Arbeiten des EDSA zum algorithmischen Audit beschreiben, betrachtet Daten, Modell und Prozess gemeinsam, nicht nur die Ausgaben.

Denken in internen Kontrollen hilft hier: Behandeln Sie jede KI-Fähigkeit als etwas, das Prüfnachweise erzeugen muss, so wie es Finanzkontrollen unter Rahmenwerken wie dem COSO tun. In Deutschland liefern das BSI und der BfDI nützliche Orientierung zu Protokollierung und Sicherheit der Verarbeitung.

Der schwierige Fall: nicht-deterministische KI prüfen (LLM und Agenten)

Eine deterministische Regel-Engine zu protokollieren ist einfach. Ein großes Sprachmodell oder einen autonomen Agenten zu protokollieren ist schwerer, weil dieselbe Anfrage unterschiedliche Ausgaben ergeben kann und das System Handlungsketten über mehrere Werkzeuge und Datenquellen ausführt.

Für solche Systeme muss die Prüfspur mehr erfassen als die Endantwort: die Anfrage und die Antwort, das Modell und seine Version, die Werkzeugaufrufe des Agenten und die Zwischenschritte. Die Maßnahme A.6.2.8 der ISO/IEC 42001 wird so faktisch zum Protokoll des Agenten-Denkens. Ziel ist nicht, ein probabilistisches System deterministisch zu machen, was unmöglich ist, sondern jeden Durchlauf rekonstruierbar zu machen: was gefragt wurde, was das System tat und was es zurückgab. Wenn ein Agent über verbundene Systeme hinweg handelt, ist diese rekonstruierbare Spur die einzige Grundlage, um im Nachhinein Verantwortung zuzuweisen.

Häufige Fragen

Was bedeutet Auditierbarkeit? Auditierbarkeit bezeichnet das Ausmaß, in dem sich die Daten, Handlungen und Entscheidungen eines Systems im Nachhinein unabhängig prüfen und bestätigen lassen. Für KI bedeutet das, dass ein Dritter rekonstruieren kann, was ein System getan hat, mit welchen Eingaben und unter wessen Befugnis, und einer vollständigen, unveränderten Spur vertrauen kann.

Warum ist Auditierbarkeit wichtig? Weil sie eine undurchsichtige KI-Ausgabe in einen belastbaren Nachweis verwandelt. Sie ist die Grundlage für regulatorische Konformität, Vorfalluntersuchung, Drift-Erkennung und das geschäftliche Vertrauen, das Käufer heute fordern. Ohne sie bleibt „das Modell hat entschieden“ die einzige Erklärung, und die überzeugt weder eine Behörde noch ein Gericht.

Auditierbarkeit oder Hörbarkeit: was ist der Unterschied? Das sind zwei verschiedene Wörter. Hörbarkeit betrifft, was gehört werden kann. Auditierbarkeit betrifft, was geprüft, untersucht und im Nachhinein bestätigt werden kann. Die Ähnlichkeit besteht nur im Wortbild des englischen Originals.

Worin unterscheiden sich Auditierbarkeit und Verantwortlichkeit? Verantwortlichkeit benennt, wer für ein Ergebnis einsteht. Auditierbarkeit ist der aufgezeichnete Nachweis, der diese Verantwortung prüfbar macht. Man kann Verantwortung auf dem Papier zuweisen, doch ohne Auditierbarkeit lässt sich nicht belegen, wer was getan hat, und die Verantwortung ist schwer durchzusetzen.

Verlangt die KI-Verordnung Auditierbarkeit? Ja, für Hochrisikosysteme. Artikel 12 verlangt die automatische Aufzeichnung von Ereignissen über den Lebenszyklus, Artikel 11 verlangt die technische Dokumentation, und die Artikel 19 und 26 legen eine Mindestaufbewahrung von sechs Monaten fest. Diese Pflichten nach Anhang III gelten ab dem 2. August 2026, mit Geldbußen von bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes.

Wie macht man ein KI-System auditierbar? Erfassen Sie das System, legen Sie die zu protokollierenden Ereignisse anhand der Zwecke des Artikels 12 fest, speichern Sie Protokolle unveränderlich mit einer Aufbewahrungsfrist, halten Sie technische Dokumentation und Modellkarten aktuell, zeichnen Sie die menschliche Aufsicht auf und verknüpfen Sie jede Maßnahme mit dem Nachweis, der sie stützt. Führen Sie danach eine Bereitschaftsprüfung durch, um die Spur zu testen, bevor es ein anderer tut.

Worin unterscheiden sich Auditierbarkeit und Erklärbarkeit? Erklärbarkeit zeigt, warum ein Modell eine bestimmte Ausgabe erzeugt hat. Auditierbarkeit zeigt, dass eine vollständige, prüfbare Spur des Geschehens existiert. Ein System kann in einer Vorführung erklärbar sein und dennoch eine Prüfung nicht bestehen, weil im Produktivbetrieb nichts protokolliert wurde. Auditierbarkeit ist das, was Erklärungen später prüfbar macht.

Fazit

Auditierbarkeit ist die Nachweisebene der KI-Governance. Sie trennt ein System, das man verteidigen kann, von einem, bei dem man nur hofft, dass es sich richtig verhält. Die KI-Verordnung, ISO/IEC 42001 und das NIST AI RMF laufen auf dieselbe Erwartung hinaus: KI-Systeme müssen Aufzeichnungen führen, die ein unabhängiger Dritter prüfen und denen er vertrauen kann. Die Aufgabe besteht darin, diese Fähigkeit bewusst aufzubauen, durch Nachverfolgbarkeit, unveränderliche Protokollierung, aktuelle Dokumentation, Aufzeichnung der Aufsicht und mit Maßnahmen verknüpfte Nachweise. AI Sigil bietet Governance-Teams einen einzigen Ort, um diese Nachweise zu erfassen, mit Maßnahmen zu verknüpfen und die Prüfspur auf Verlangen zu erzeugen, damit auf die Frage „beweisen Sie es“ die Antwort bereits vorliegt.