Vertrauenswürdige KI: Wie Sie den Nachweis tatsächlich führen

Das Wichtigste in Kürze

• Vertrauenswürdige KI ist keine Eigenschaft, die man behauptet, sondern eine, die man belegt: durch Messen, Bewerten und Berichten dessen, was ein System tatsächlich tut.
• Assurance, Audit, Konformitätsbewertung, Zertifizierung und Akkreditierung bezeichnen fünf verschiedene Dinge, und wer sie verwechselt, kauft die falsche Leistung ein.
• Nach der KI-Verordnung bewerten die meisten Anbieter von Hochrisikosystemen sich selbst. Das interne Nachweisverfahren ist deshalb nicht die Vorbereitung auf die Konformitätsbewertung, sondern deren Kern.
• ISO/IEC 42001 zertifiziert das Managementsystem, während ISO/IEC 42006:2025 regelt, welche Stellen dieses Zertifikat überhaupt ausstellen dürfen. Diese zweite Ebene fehlt in fast jeder Darstellung.
• Ein Zertifikat trägt ein Datum, ein Modell trägt eine Version. Deshalb muss der Nachweis fortlaufend geführt werden statt einmal im Jahr.

Was vertrauenswürdige KI in der Praxis bedeutet

Die britische Regierung beschreibt das zugrunde liegende Verfahren, im Englischen AI assurance genannt, als den Prozess des Messens, Bewertens und Berichtens der Vertrauenswürdigkeit eines KI-Systems. Jedes dieser drei Verben trägt eine eigene Anforderung, und wer eines davon überspringt, verfehlt das Ziel.

Messen bedeutet, Daten darüber zu erheben, wie sich das System verhält: Trefferquoten über einzelne Teilgruppen hinweg, Fehlerarten, Verhalten unter Last und Reaktionen auf Eingaben, die im Training nie vorkamen. Bewerten heißt, diese Messungen an einem Maßstab zu spiegeln, den auch Dritte anerkennen, sei es eine Norm, ein regulatorischer Schwellenwert oder eine dokumentierte Risikobereitschaft. Berichten bedeutet, das Ergebnis denjenigen vorzulegen, die daraus Konsequenzen ziehen müssen, und zwar so, dass sie es auch bestreiten können.

Entscheidend ist die Unterscheidung zwischen der Eigenschaft und ihrem Nachweis. Vertrauenswürdige KI beschreibt einen Zustand, den eine Organisation behauptet. Das Nachweisverfahren ist der Apparat, der diese Behauptung überprüfbar macht. Eine Organisation kann ein wirklich sorgfältig gebautes Modell betreiben und dennoch über keinerlei Nachweis verfügen, weil sich die Qualität gegenüber Dritten nicht belegen lässt. Der umgekehrte Fall kommt ebenfalls vor und ist gefährlicher: ein dicker Ordner Dokumentation, den keine einzige Messung trägt.

Genau deshalb gehört vertrauenswürdige KI in die KI-Governance hinein und nicht daneben. Die Governance entscheidet, was eine Organisation mit KI tun und lassen will, wer verantwortlich ist und welche Schwellen gelten. Der Nachweis ist die Maschinerie, die zeigt, ob diese Entscheidungen im Produktivbetrieb tatsächlich halten.

Assurance, Audit, Zertifizierung und Konformitätsbewertung sind nicht dasselbe

Diese Begriffe werden fast überall synonym verwendet. Sie sind es nicht, und die Unterschiede bestimmen, wen Sie beauftragen, was Sie dafür bekommen und ob eine Behörde es akzeptiert.

Begriff	Was es ist	Wer es durchführt	Was dabei entsteht	Verpflichtend?
Assurance	Der übergreifende Prozess aus Messen, Bewerten und Berichten der Vertrauenswürdigkeit	Interne Teams, Kunden, unabhängige Anbieter	Nachweise und eine belegte Aussage	Nein, aber so erfüllt man das Verpflichtende
Audit	Ein einzelner Mechanismus darin: eine strukturierte Prüfung gegen festgelegte Kriterien	Interne Revision oder externe Prüfgesellschaft	Ein Prüfbericht mit Feststellungen	Teilweise, je nach Branchenrecht
Konformitätsbewertung	Das EU-Verfahren, mit dem vor dem Inverkehrbringen belegt wird, dass ein Produkt die rechtlichen Anforderungen erfüllt	Der Anbieter selbst oder eine benannte Stelle	Konformitätserklärung und CE-Kennzeichnung	Ja, für Hochrisikosysteme
Zertifizierung	Die Bestätigung durch Dritte, dass ein Managementsystem einer Norm entspricht	Eine akkreditierte Zertifizierungsstelle	Ein Zertifikat mit Ablaufdatum	Nein, freiwillig
Akkreditierung	Die Feststellung, dass eine Zertifizierungsstelle kompetent ist	Die nationale Akkreditierungsstelle, in Deutschland die DAkkS	Die Akkreditierung des Zertifizierers	Betrifft den Zertifizierer, nicht Sie

Daraus folgt eine praktische Konsequenz: Ein Zertifikat nach ISO/IEC 42001 erfüllt keine Pflicht aus der KI-Verordnung, und eine bestandene Konformitätsbewertung macht eine Governance noch lange nicht reif. Beide beantworten unterschiedliche Fragen für unterschiedliche Adressaten. Ein KI-Audit ist eines der Instrumente, mit denen Nachweise entstehen, und deren Qualität hängt maßgeblich davon ab, wie prüfbar das System von Anfang an ausgelegt wurde. Wer diese Eigenschaft erst nach der Inbetriebnahme nachrüstet, zahlt dafür und bleibt trotzdem lückenhaft.

Die sieben Nachweismechanismen und was sie jeweils belegen

Der britische Leitfaden führt einen Werkzeugkasten an Mechanismen für vertrauenswürdige KI auf. Am nützlichsten liest man ihn nicht als Katalog von Tätigkeiten, sondern als Liste von Artefakten, denn das Artefakt überlebt die Sitzung.

1. Die Risikoanalyse benennt, was schiefgehen kann und wie schwer es wöge. Artefakt: ein Risikoregister mit Verantwortlichen, Bewertungen und Behandlungsentscheidungen.
2. Die Folgenabschätzung richtet den Blick nach außen, auf Menschen, Rechte und Gleichbehandlung. Artefakt: eine Bewertung, die betroffene Gruppen und Gegenmaßnahmen benennt.
3. Das Bias-Audit untersucht Ein- und Ausgaben auf ungerechtfertigte Unterschiede. Artefakt: Kennzahlen nach Teilgruppen, mit ausdrücklich genannter Fairness-Definition. Mehr dazu im Beitrag zu KI-Verzerrungen.
4. Das Compliance-Audit prüft die Einhaltung interner Vorgaben, gesetzlicher Regeln und vertraglicher Zusagen. Artefakt: ein Feststellungsprotokoll je Kontrolle.
5. Die Konformitätsbewertung belegt, dass ein Produkt vor dem Markteintritt die rechtlichen Anforderungen erfüllt. Artefakt: technische Dokumentation und Konformitätserklärung.
6. Die formale Verifikation beweist mit mathematischen Methoden, dass ein System eine Spezifikation erfüllt. Artefakt: ein Beweis, dessen Annahmen schriftlich vorliegen müssen. Außerhalb sicherheitskritischer Bereiche selten und nie belastbarer als seine Annahmen.
7. Der Leistungstest misst das System gegen Vergleichsdaten und Schwellenwerte. Artefakt: datierte Testergebnisse, die einer bestimmten Modellversion zugeordnet sind. Hier leistet das Benchmarking von KI-Modellen die eigentliche Arbeit.

Sechs der sieben Mechanismen erzeugen ein Dokument, dessen Wert mit der Zeit verfällt. Dieser Verfall ist das eigentliche Betriebsproblem, das ein reifes KI-Risikomanagement löst und alle anderen ignorieren.

Wer den Nachweis führt: Erst-, Zweit- und Drittpartei

Nachweise für vertrauenswürdige KI werden danach eingeteilt, wer sie erbringt, und der Grad der Unabhängigkeit entscheidet darüber, was eine Aussage wert ist.

Die Erstparteiprüfung ist eine Selbstbewertung: Das Team, das das System gebaut hat, bewertet es selbst. Schnell, günstig, fachlich tief und strukturell befangen. Die Zweitparteiprüfung stammt von einer Partei mit wirtschaftlichem Interesse, typischerweise einem Kunden, der im Beschaffungsprozess seinen Lieferanten prüft. Die Drittparteiprüfung erfolgt durch einen unabhängigen Anbieter ohne Interesse am Ergebnis, und nur diese Variante hat vor einer Behörde oder einem skeptischen Käufer Gewicht.

Warum der Markt für Drittparteien noch unreif ist

Die im September 2025 veröffentlichte britische Roadmap für vertrauenswürdige Drittpartei-Prüfungen hat den Markt beziffert. Dort waren 2024 rund 524 Unternehmen mit einem Wert von etwa 1,01 Milliarden Pfund tätig, mit einer Projektion auf 18,8 Milliarden Pfund bis 2035, sofern die Hindernisse fallen.

Diese Hindernisse verdienen es, benannt zu werden, denn sie erklären, warum sich solche Leistungen derzeit so schwer einkaufen lassen. Die Roadmap nennt eine Lücke bei Qualitätsmaßstäben, da bestehende KI-Zertifikate meist nicht akkreditiert sind, einen Fachkräftemangel an der Schnittstelle von maschinellem Lernen, Recht, Ethik und Normung, einen eingeschränkten Informationszugang, weil Anbieter weder Trainingsdaten noch Modellinterna herausgeben, sowie zu wenige Foren für die Entwicklung fortlaufender Prüfverfahren.

Die Antwort darauf staffelt sich in drei Modelle: zuerst die Zertifizierung einzelner Fachleute, dann die Zertifizierung von Prozessen, zuletzt die Akkreditierung ganzer Häuser. Ein Innovationsfonds über 11 Millionen Pfund und ein von der BCS geführtes Konsortium begleiten das Vorhaben. Für Käufer lautet das Signal schlicht: In den nächsten Jahren müssen Sie die Qualifikation Ihres Dienstleisters selbst prüfen, weil der Markt noch nicht festgelegt hat, was fachliche Eignung hier überhaupt bedeutet.

Wie der Nachweis in die Beweiskette der KI-Verordnung einfließt

An dieser Stelle brechen die meisten Darstellungen ab, und genau hier entscheidet sich die rechtliche Aussetzung.

Artikel 43 der KI-Verordnung sieht zwei Wege der Konformitätsbewertung für Hochrisikosysteme vor. Der erste stützt sich auf die interne Kontrolle nach Anhang VI und kommt ohne benannte Stelle aus. Der zweite nach Anhang VII bezieht eine benannte Stelle ein, die sowohl das Qualitätsmanagementsystem als auch die technische Dokumentation prüft.

Welcher Weg gilt, können die meisten Anbieter nicht frei wählen. Bei Hochrisikosystemen nach Anhang III Nummer 1, also im Bereich Biometrie, darf der Anbieter zwischen beiden wählen. Für die Nummern 2 bis 8 des Anhangs III, die kritische Infrastruktur, Bildung, Beschäftigung, wesentliche Dienste, Strafverfolgung, Migration und Justizverwaltung umfassen, gilt der Weg über die interne Kontrolle. Eine eng gefasste Ausnahme lässt die Marktaufsichtsbehörde als benannte Stelle auftreten, wenn Systeme von Strafverfolgungs-, Einwanderungs- oder Asylbehörden oder von Einrichtungen der Union in Betrieb genommen werden. In Deutschland nimmt die Bundesnetzagentur die zentrale Rolle in der Marktaufsicht ein.

Die Folgerung sollte man deutlich aussprechen. Bei der weit überwiegenden Zahl der Hochrisikosysteme kommt niemand von außen, um das System vor dem Inverkehrbringen zu inspizieren. Der Anbieter unterschreibt die Erklärung selbst. Das interne Nachweisverfahren bereitet die Konformitätsbewertung also nicht vor, sondern bildet sie, und allein die Qualität der eigenen Belege trennt eine zutreffende Erklärung von einer falschen.

Diese Belege fließen anschließend in eine Kette weiterer Pflichten: die technische Dokumentation nach Anhang IV, die EU-Konformitätserklärung, die CE-Kennzeichnung, die Registrierung in der europäischen Datenbank und die Beobachtung nach dem Inverkehrbringen. Jedes Glied verbraucht Artefakte, die das Nachweisverfahren erzeugt haben sollte. Wer die Dokumentationsanforderungen früh sauber fasst, macht den Rest überhaupt erst handhabbar, und die weitere Regulierungslandschaft fügt in anderen Rechtsräumen parallele Pflichten hinzu. Das BSI veröffentlicht darüber hinaus technische Leitlinien, die sich mit diesen Erwartungen an Sicherheit gut verzahnen lassen.

Was der Aufschub durch den Digital Omnibus bringt

Der Zeitplan hat sich geändert. Der Digital Omnibus trat am 27. Juli 2026 in Kraft, und nach Angaben der Europäischen Kommission gelten die Regeln für eigenständige Hochrisikosysteme des Anhangs III nunmehr ab dem 2. Dezember 2027, während die Regeln für KI in regulierten Produkten nach Anhang I ab dem 2. August 2028 greifen.

Die allgemeine Anwendbarkeit und die Transparenzpflichten wurden nicht verschoben und gelten seit dem 2. August 2026. Die richtige Lesart ist also nicht, dass die Hochrisikopflichten entfallen wären. Anbieter haben zusätzliche Zeit erhalten, gerade weil Normen und Werkzeuge noch nicht bereitstanden. Wer diese Spanne als Bauzeit begreift, verfügt zum Stichtag über eine funktionierende Beweiskette. Wer sie als Verschnaufpause versteht, wird drei Jahre Dokumentation rückwirkend zusammentragen, also genau den Fehler begehen, den der Aufschub verhindern sollte.

Normen machen aus Nachweisen etwas, das eine Aufsichtsbehörde akzeptiert

Der britische Leitfaden formuliert es unverblümt: „Ohne Normen haben wir Ratschläge, keine Nachweise.“ Eine Messung bedeutet nur dann etwas, wenn der Maßstab geteilt wird.

Wer vertrauenswürdige KI belegen will, muss drei Ebenen unterscheiden. ISO/IEC 42001 beschreibt das KI-Managementsystem, also den organisatorischen Apparat, der KI über ihren Lebenszyklus hinweg steuert. Darunter legt ISO/IEC 42006:2025, am 7. Juli 2025 von ISO/IEC JTC 1/SC 42 veröffentlicht, die Anforderungen an jene Stellen fest, die ein KI-Managementsystem auditieren und zertifizieren, aufbauend auf ISO/IEC 17021-1. Diese Ebene fehlt in nahezu jeder Darstellung, dabei beantwortet sie die Frage, die ein Käufer stets stellen sollte: Wer hat den Zertifizierer zertifiziert, und nach welchen Kompetenzkriterien?

Darüber liegt der Mechanismus der harmonisierten Normen. Nach Artikel 40 der KI-Verordnung begründet die Übereinstimmung mit einer im Amtsblatt veröffentlichten harmonisierten Norm die Vermutung der Konformität mit der entsprechenden rechtlichen Anforderung. Die europäischen Normungsgremien arbeiten unter dem Mandat M/593 an Entwürfen; diese sind noch nicht als harmonisierte Normen veröffentlicht, und bis dahin trägt der Anbieter die Last, die Angemessenheit seiner eigenen Methoden zu begründen. Für das Vokabular der Messung bleibt das NIST AI Risk Management Framework die verbreitetste gemeinsame Sprache, insbesondere dessen Funktion Measure. Ein Vergleich der Rahmenwerke hilft bei der Entscheidung, worauf man aufsetzt.

Stichtagszertifikat oder kontinuierlicher Nachweis

Ein Zertifikat trägt ein Datum. Ein Modell trägt eine Version, und die Version ändert sich.

Darin liegt die strukturelle Spannung, die vertrauenswürdige KI von klassischer Compliance trennt. Eine im März geprüfte Finanzkontrolle verhält sich im September gleich. Ein Modell, das auf drei Monaten frischer Daten nachtrainiert wurde, möglicherweise nicht. Verteilungsverschiebung, Konzeptdrift, ein aktualisiertes Basismodell unter Ihrer Anwendung, eine geänderte Eingabeaufforderung, eine neue Datenquelle: Jedes dieser Ereignisse kann ein Testergebnis entwerten, ohne dass je ein Änderungsantrag gestellt wurde.

Die Antwort der Verordnung heißt Beobachtung nach dem Inverkehrbringen, eine dauerhafte Pflicht, das Verhalten im Feld zu verfolgen und auf Auffälligkeiten zu reagieren. Der Begriff der wesentlichen Änderung wirkt in dieselbe Richtung, indem er die Schwelle bestimmt, ab der neu bewertet werden muss. Beides zeigt dasselbe: Der Nachweis ist eine fortlaufende Funktion, und ein jährliches Audit liefert eine Momentaufnahme, die schon bei der Unterschrift veraltet war.

Praktisch heißt das für vertrauenswürdige KI, das System so zu instrumentieren, dass Belege nach einem Takt entstehen und nicht nach Projektlage. Leistungskennzahlen in wiederkehrenden Abständen, Drifterkennung mit definierten Schwellen und ein festgelegter Weg von der erkannten Auffälligkeit zur dokumentierten Entscheidung. Die Meldung von Vorfällen schließt den Kreis, indem sie Störungen in nachvollziehbare Ereignisse verwandelt statt in Flurgespräche.

Ein Betriebsmodell für vertrauenswürdige KI aufbauen

Die kleinste Einheit für vertrauenswürdige KI ist der Beleg, und ein tragfähiges Betriebsmodell besteht im Wesentlichen darin, an jedem Beleg fünf Felder mitzuführen: die Aussage, die er stützt, die Kontrolle, die er erfüllt, den Beleg selbst, seinen Eigentümer und sein Entstehungsdatum. Fehlt nur eines davon, hält das Artefakt einer Prüfung nicht stand.

Die Verantwortung folgt dem Modell der drei Verteidigungslinien recht gut. Die erste Linie, also die Teams, die KI-Systeme bauen und betreiben, erzeugt die Belege. Die zweite Linie aus Risiko und Compliance legt fest, welche Belege verlangt werden, und prüft, ob sie vorliegen. Die dritte Linie, die interne Revision, testet unabhängig, ob die beiden ersten ihre Arbeit tun. Das Institute of Internal Auditors ordnet der internen Revision ausdrücklich die Rolle einer nachweisgebenden Instanz für KI zu, die interne Kontrollen zur Steuerung von KI-Risiken validiert.

Ein brauchbarer Mindestbestand umfasst das Risikoregister, versionsbezogene Test- und Bewertungsergebnisse, eine Datendokumentation mit Herkunft und bekannten Grenzen, Aufzeichnungen über die menschliche Aufsicht als Beleg dafür, dass Prüfende tatsächlich geprüft haben, ein Änderungsprotokoll und ein Vorfallregister. Die Vorlage zur Selbstbewertung der Sicherheit aus der frei lizenzierten Reihe des Alan Turing Institute zu KI-Ethik und Governance bietet einen glaubwürdigen und kostenfreien Ausgangspunkt. Sie ordnet Sicherheit entlang von Leistung, Zuverlässigkeit, Sicherheit und Robustheit, was den Anforderungen an Genauigkeit, Robustheit und Cybersicherheit aus Artikel 15 nahekommt.

Die Probe aufs Exempel ist einfach. Wählen Sie eine Aussage, die Ihre Organisation über ein KI-System trifft, und versuchen Sie, sie auf ein datiertes Artefakt mit benanntem Eigentümer zurückzuführen. In den meisten Häusern reißt die Kette schon nach zwei Schritten, und genau diese Lücke soll ein Programm für KI-Compliance schließen.

Häufige Fragen

Was bedeutet vertrauenswürdige KI?

Vertrauenswürdige KI bezeichnet ein System, dessen Zuverlässigkeit, Sicherheit und Fairness nicht behauptet, sondern belegt sind. Der zugehörige Prozess besteht aus Messen, Bewerten und Berichten: Messen erhebt Daten zum tatsächlichen Verhalten, Bewerten spiegelt sie an einem anerkannten Maßstab, Berichten legt das Ergebnis den Entscheidern vor. Das Resultat ist ein Beleg, den auch jemand außerhalb des Entwicklungsteams prüfen kann.

Ist vertrauenswürdige KI dasselbe wie ein KI-Audit?

Nein. Ein Audit ist ein einzelner Mechanismus: eine strukturierte Prüfung gegen festgelegte Kriterien, die zu einem Bericht mit Feststellungen führt. Der Weg zu vertrauenswürdiger KI umfasst darüber hinaus Risiko- und Folgenabschätzung, Leistungstests, laufende Überwachung und die Kommunikation der Ergebnisse. Ein einzelnes Audit bleibt eine Momentaufnahme und ersetzt keine dauerhafte Fähigkeit.

Verlangt die KI-Verordnung eine Prüfung durch Dritte?

Meist nicht. Artikel 43 führt Hochrisikosysteme nach Anhang III Nummern 2 bis 8 über die interne Kontrolle nach Anhang VI, ganz ohne benannte Stelle. Nur Systeme nach Anhang III Nummer 1, also im Bereich Biometrie, eröffnen eine Wahl, ergänzt um eine enge Ausnahme, in der die Marktaufsichtsbehörde diese Rolle übernimmt. Die Selbstbewertung ist damit der Regelfall, was die Anforderungen an interne Belege eher erhöht als senkt.

Welche Normen stützen vertrauenswürdige KI?

ISO/IEC 42001 definiert das KI-Managementsystem. ISO/IEC 42006:2025 regelt die Anforderungen an Stellen, die dagegen auditieren und zertifizieren. Das NIST AI RMF liefert ein weit verbreitetes Vokabular für Messung und Bewertung. Nach Artikel 40 der KI-Verordnung werden im Amtsblatt veröffentlichte harmonisierte Normen eine Konformitätsvermutung begründen, doch die einschlägigen europäischen Entwürfe sind als solche noch nicht veröffentlicht.

Wer darf vertrauenswürdige KI bescheinigen?

Interne Teams, Kunden und unabhängige Anbieter kommen infrage, und die Einordnung zählt. Die Erstparteiprüfung ist eine fachlich tiefe, aber befangene Selbstbewertung. Die Zweitparteiprüfung stammt von einer wirtschaftlich interessierten Partei, etwa einem einkaufenden Kunden. Die Drittparteiprüfung ist unabhängig und wiegt nach außen am schwersten. Da sich der Markt noch sortiert, prüfen Sie Qualifikation und Methodik unmittelbar statt sich auf ein Siegel zu verlassen.

Wie oft muss vertrauenswürdige KI neu belegt werden?

So oft sich das System ändert, was bei den meisten Verfahren des maschinellen Lernens fortlaufend statt jährlich bedeutet. Knüpfen Sie die Erneuerung an Auslöser: ein Nachtraining, ein Wechsel des zugrunde liegenden Basismodells, eine neue Datenquelle, das Überschreiten einer Driftschwelle oder ein gemeldeter Vorfall. Eine rein kalendarische Wiederholung lässt Sie ein Zertifikat verteidigen, das eine nicht mehr produktive Version beschreibt.

Fazit

Vertrauenswürdige KI ist weniger ein Projekt als eine Gewohnheit: fortlaufend Belege zu erzeugen, damit jede Aussage an dem Tag gestützt werden kann, an dem jemand nachfragt. Die Häuser, die die kommenden Jahre gelassen überstehen, sind nicht jene mit den dicksten Richtlinien. Es sind jene, die eine Aussage auf ein datiertes Artefakt zurückführen, dessen Eigentümer benennen und angeben können, wann es zuletzt bestätigt wurde.

Die verschobenen europäischen Fristen, Dezember 2027 für eigenständige Hochrisikosysteme und August 2028 für eingebettete Produkte, sind Bauzeit. Die Pflichten sind nicht kleiner geworden, und weil die Selbstbewertung den Regelfall bildet, ist die Qualität Ihrer eigenen Belege die einzig wirksame Kontrolle. Beginnen Sie mit einem Hochrisikosystem und verfolgen Sie eine einzige Aussage lückenlos. Die Lücken, auf die Sie stoßen, zeigen Ihnen, was Ihr Programm wirklich braucht.