KI-Benchmark: vom Score zum prüffähigen Nachweis

Auf einen Blick

• Ein KI-Benchmark misst, wie ein Modell auf einem festgelegten Aufgabensatz nach einer bekannten Bewertungsregel abschneidet. Er beantwortet, welches Modell auf diesem Test stärker ist, nicht, ob Ihr System für seine Zweckbestimmung geeignet ist.
• Nach der KI-Verordnung müssen Anbieter von Hochrisikosystemen ihre Genauigkeitsmetriken in der Betriebsanleitung angeben. Verpflichtend ist die eigene Metrik, nicht die Rangliste eines Dritten.
• Öffentliche Werte verlieren ihre Beweiskraft, weil die meistzitierten Tests gesättigt sind und ihre veröffentlichten Fragen in Trainingskorpora gelangen.
• Ein Ergebnis wird erst dann zum Nachweis, wenn belegbar ist, was ausgeführt wurde, auf welchen Daten, gegen welche Modellversion, durch wen und wann.
• Nachweise, die ein Audit überstehen, stammen fast immer aus einem internen Testsatz, der aus der Zweckbestimmung abgeleitet wurde, und nicht aus einer öffentlichen Rangliste.

Was ein KI-Benchmark tatsächlich misst

Ein KI-Benchmark ist ein standardisierter Test: ein festgelegter Datensatz von Eingaben, erwartete Ausgaben und eine Bewertungsregel, die Modellverhalten in eine vergleichbare Zahl übersetzt. Weil alle Modelle dieselben Eingaben unter derselben Regel durchlaufen, verwandelt ein Benchmark einen Eindruck in einen Wert, über den zwei Beteiligte mit denselben Fakten streiten können. Das ist tatsächlich nützlich, und genau hier beginnen die Schwierigkeiten. Ein Benchmark ist eine endliche Stichprobe aus einer Verteilung. Die Arbeit, für die Sie ein KI-Modell einsetzen, besteht dagegen aus einer offenen Menge von Situationen aus einer deutlich unordentlicheren Verteilung. Der Wert bleibt immer ein Hilfsmaß, und der Abstand zwischen diesem Hilfsmaß und dem, worauf es Ihnen ankommt, steht nie auf der Rangliste.

Die drei Bestandteile eines Benchmarks

Jeder Benchmark besteht aus drei Komponenten, von denen jede unabhängig versagen kann.

• Der Datensatz: die Eingaben und in der Regel die Referenzausgaben, gegen die bewertet wird.
• Die Bewertungsmethode: die Regel, die Ausgaben in einen Wert übersetzt. Antwortabgleich bei Multiple-Choice-Aufgaben, Ausführung von Unit-Tests bei Code oder ein modellbasierter Bewerter bei offenen Texten.
• Die Rangliste: die Darstellung, die Ergebnisse vergleichbar macht und sie nebenbei lohnend zu manipulieren.

Besondere Aufmerksamkeit verdient die Referenzwahrheit, weil sie alles darüber still begrenzt. Ist der Lösungsschlüssel falsch, wird eine richtige Modellantwort als Fehler gewertet, und das gesamte Ergebnis übernimmt dieses Rauschen.

Kompetenzfamilien und ihre blinden Flecken

Kein einzelner Test erfasst, was ein Modell kann, weshalb das Feld die Bewertung nach Fähigkeiten aufteilt. Nur eine Lektüre über die Familien hinweg ergibt ein ehrliches Bild.

• Wissen (MMLU, MMLU-Pro): Breite des Faktenwissens. Das ursprüngliche MMLU ist weitgehend gesättigt, sodass kleine Abstände zwischen Spitzenmodellen kein Signal mehr tragen.
• Schlussfolgern (GPQA Diamond, Humanity’s Last Exam): mehrstufiges Problemlösen an bewusst schweren Fragen. Heute schwer, morgen ein Kontaminationsziel.
• Programmieren (SWE-bench Verified, LiveCodeBench): das Beheben echter Repository-Tickets statt des Schreibens isolierter Funktionen. Tests auf Funktionsebene haben ihre Trennschärfe weitgehend verloren.
• Agenten (GAIA): Planung und Werkzeugnutzung über mehrere Schritte. Die Ergebnisse hängen ebenso stark vom Gerüst um das Modell ab wie vom Modell selbst.
• Multimodal (MMMU): Schlussfolgern über Text, Bilder und Diagramme hinweg. Ein starkes Textmodell kann hier schwach abschneiden.
• Menschliche Präferenz (Arena Elo): welche Antwort Menschen im Blindvergleich bevorzugen. Gemessen werden Präferenz und Stil, nicht Korrektheit, und beide gehen häufiger auseinander, als die Rangliste vermuten lässt.

Für Teams, die speziell mit Sprachmodellen arbeiten, findet sich die Aufschlüsselung nach Familien in unserem Leitfaden zu LLM-Benchmarks. Alles Weitere gilt für jede Modellklasse.

Wann Benchmark-Werte zur regulatorischen Pflicht werden

Die meisten Beiträge behandeln KI-Benchmarking als technische Gewohnheit. Für alle, die ein System auf dem europäischen Markt bereitstellen, kommt es einer Dokumentationspflicht näher, und dieser Perspektivwechsel verändert, was ein guter Benchmark ist.

Artikel 15: die eigene Genauigkeitsmetrik angeben

Artikel 15 der KI-Verordnung verlangt von Hochrisiko-KI-Systemen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit sowie eine über den gesamten Lebenszyklus beständige Leistung. Entscheidend für Governance-Teams ist der darauf folgende Satz: Die Genauigkeitsgrade und die einschlägigen Genauigkeitsmetriken sind in der Betriebsanleitung anzugeben. Diese Formulierung kehrt den üblichen Reflex um. Verlangt wird nicht, auf einem anerkannten öffentlichen Test gut abzuschneiden, sondern diejenige Metrik zu benennen, die Sie für Ihr System als einschlägig ansehen, das erreichte Niveau anzugeben und für beides einzustehen. Ein Ranglistenplatz erfüllt diese Pflicht nicht, und wer ihn anstelle einer eigenen Messung anführt, hinterlässt eine Lücke, die eine prüfende Stelle schnell findet. Gemeinsame Maßstäbe sind durchaus vorgesehen. Die Verordnung hält die Kommission dazu an, in Zusammenarbeit mit Interessenträgern und Organisationen wie Metrologie- und Benchmarking-Behörden die Entwicklung von Benchmarks und Messmethoden zu fördern. Diese Arbeit läuft noch, weshalb die Last der Auswahl und Begründung einer Metrik vorerst beim Anbieter liegt. Artikel 15 gilt ab dem 2. August 2026, was innerhalb des Planungshorizonts liegt, den unser operativer Leitfaden zur EU-KI-Verordnung beschreibt.

Modelle mit allgemeinem Verwendungszweck: Artikel 55 und Verhaltenskodex

Anbieter von Modellen mit allgemeinem Verwendungszweck tragen eine eigenständige und deutlich ausdrücklichere Bewertungspflicht. Der im Juli 2025 vom EU-Büro für Künstliche Intelligenz veröffentlichte GPAI-Verhaltenskodex verpflichtet Anbieter von Modellen mit systemischem Risiko, derzeit gebunden an eine Trainingsrechenleistung oberhalb von 10^25 FLOPs, ein Sicherheitsrahmenwerk zu unterhalten, das Modellbewertungen, Red-Teaming, Beobachtung nach dem Inverkehrbringen, Cybersicherheit und Vorfallmeldung umfasst. Hier ist die Bewertung überhaupt kein Vergleichsverfahren mehr, sondern eine Sicherheitsargumentation, die nach der Veröffentlichung fortzuschreiben und nicht einmalig zum Marktstart zu erstellen ist. Betreiber, die auf diesen Modellen aufbauen, erben die Folgen, weshalb unsere Notiz zu KI mit allgemeinem Verwendungszweck Bewertungsnachweise des Anbieters als Beschaffungsgrundlage behandelt und nicht als technische Randnotiz.

ISO 42001 und NIST AI RMF: die Managementsystem-Sicht

Zwei freiwillige Rahmenwerke machen aus dem Benchmarking statt einer Tätigkeit einen gelenkten Prozess. ISO/IEC 42001 verortet die Leistungsbewertung in einem zertifizierbaren Managementsystem. Sobald ein Messlauf unter Kapitel 9 fällt, ist er keine Folie mehr, sondern ein Nachweis mit Verantwortlichem, Turnus und Prüfspur. Das NIST AI Risk Management Framework wird deutlicher. Seine MEASURE-Funktion wendet Metriken, Benchmarks, Tests und Analysen auf Vertrauenswürdigkeitsmerkmale an und fordert regelmäßiges Benchmarking sowohl des Systems als auch der umgebenden Risikomanagementpraxis. Die NIST-Arbeiten zu Test, Evaluation, Verifikation und Validierung setzen die Messlatte unmissverständlich: Diese Prozesse müssen objektiv, wiederholbar oder skalierbar, eingerichtet, befolgt und dokumentiert sein und wissenschaftlichen, rechtlichen sowie ethischen Normen in einem offenen und transparenten Verfahren genügen. Dieser eine Satz ist die brauchbarste Spezifikation eines belastbaren Benchmarks, die je formuliert wurde. Bemerkenswert ist, was er nicht sagt: nichts darüber, welchen Test Sie durchführen, und alles darüber, ob eine dritte Partei ihn wiederholen und dasselbe Ergebnis erhalten könnte.

Warum ein öffentlicher Wert ein schwacher Nachweis ist

Die Kritik an veröffentlichten Werten ist keine Außenseiterposition, sondern stammt aus der Bewertungsliteratur selbst.

Sättigung und Kontamination

Die meistzitierten Tests sind gesättigt. Spitzenmodelle liegen ein bis zwei Punkte auseinander, und die verbleibende Streuung geht oft auf mehrdeutige oder falsch etikettierte Fragen zurück statt auf einen Leistungsunterschied. Ein Test, in dem alle die Bestnote erreichen, kann seine einzige Aufgabe nicht mehr erfüllen. Schärfer ist das Kontaminationsproblem. Benchmarks werden offen veröffentlicht, damit das Feld sie reproduzieren kann, wodurch ihre Fragen und Antworten in die Web-Korpora gelangen, mit denen die nächste Modellgeneration trainiert wird. Ein Modell, das den Test im Training gesehen hat, besteht ihn ohne zu generalisieren. Übersichtsarbeiten zur Kontamination formulieren es nüchtern: Der Wert misst Erinnerung statt Fähigkeit, und an der Rangliste ist der Unterschied nicht erkennbar.

Goodharts Gesetz und Konstruktvalidität

Wird ein Maß zum Ziel, hört es auf, ein gutes Maß zu sein. Sobald ein Benchmark die Zahl ist, mit der Labore werben und nach der Einkäufer filtern, verschiebt sich der Anreiz vom Bau besserer Modelle hin zum Erzielen besserer Werte. Das ist inzwischen gut belegt. Eine interdisziplinäre Meta-Übersicht im Umfeld der Gemeinsamen Forschungsstelle der Europäischen Kommission, Can We Trust AI Benchmarks?, benennt neun systemische Probleme des KI-Benchmarkings, darunter fehlgeleitete Anreize, Mängel der Konstruktvalidität und Manipulationsrisiken. Die Konstruktvalidität ist dabei der stille Punkt: Sie fragt, ob ein Benchmark überhaupt misst, was er zu messen vorgibt, und ein überraschender Anteil veröffentlichter Benchmarks kann das nicht belegen. Der Grundlagentext Benchmarks 101 von Aspen Digital ordnet die Fehlerarten in drei Gruppen: mangelhafte Daten, fehlerhafte Messung oder Konzeption, fehlinterpretierte Ergebnisse. Sein Beispiel sollte man beim nächsten Schlagzeilenwert im Hinterkopf behalten. Forschende stellten fest, dass rund 30 Prozent der Biologie- und Chemiefragen in Humanity’s Last Exam, einem eigens als schwer konzipierten Benchmark, falsche oder nicht haltbare Antworten vorsahen.

Die Lücke zwischen Labor und Einsatz

Benchmarks messen im Labor, nicht im Feld. Sie greifen zudem früher im Lebenszyklus als vermutet, nämlich bei der Zieldefinition und beim Modellbau, während Folgenabschätzung und Red-Teaming später folgen, sobald es ein System zu prüfen gibt. Die Folgen sind nicht akademisch. Aspen Digital dokumentiert Dermatologiemodelle, die auf dem Datensatz der International Skin Imaging Collaboration hohe Werte erzielten und deren Leistung bei dunkleren Hauttypen deutlich abfiel, sobald die Metriken nach Hauttyp aufgeschlüsselt wurden. Die aggregierte Zahl war korrekt, und der daraus gezogene Schluss war falsch. Dieses Beispiel markiert die Grenze, um die es hier geht. Ein Fähigkeitswert ist keine Zusicherung in Bezug auf Grundrechte, und keine Menge davon ersetzt die aufgeschlüsselten Tests, die unser Leitfaden zu KI-Bias beschreibt. Fairnessprüfung ist eine eigene Pflicht mit eigener Methode und kein Unterpunkt der Leistungsmessung.

Was ein Benchmark belegen kann und was nicht

Governance-Teams brauchen eine Grenze, die sich anwenden lässt, ohne die Wissenschaft jedes Mal neu aufzurollen. Das ist unsere.

Ein Benchmark KANN belegen	Ein Benchmark KANN NICHT belegen
Relative Fähigkeit auf einer definierten Aufgabe zu einem Zeitpunkt	Eignung für Ihre Zweckbestimmung
Eine Regression zwischen zwei Modellversionen auf einem eingefrorenen internen Satz	Für sich genommen die nach Artikel 15 anzugebende Genauigkeitsmetrik
Dass ein dokumentiertes, wiederholbares Messverfahren besteht und befolgt wurde	Das Ausbleiben diskriminierender Auswirkungen auf betroffene Gruppen
Einen Vorfilter zur Erstellung einer engeren Auswahl	Widerstandsfähigkeit gegen adversariale oder verteilungsfremde Eingaben
Den aggregierten Fortschritt einer Fähigkeit über die Zeit	Fortbestehende Leistung nach einer stillen Modellaktualisierung des Anbieters
Dass eine konkrete Behauptung geprüft und nicht bloß aufgestellt wurde	Für sich genommen die Konformität mit irgendeinem Rahmenwerk

Die Schlussfolgerung ist kurz. Ein Benchmark ist nur dann als Nachweis tauglich, wenn belegbar ist, was ausgeführt wurde, auf welchen Daten, gegen welche Modellversion, durch wen und wann. Alles in der linken Spalte hängt daran, dass dieser Nachweis existiert. Nichts in der rechten Spalte wird dadurch wahr, dass ein Wert hoch ausfiel. Wo der Benchmark die Last nicht tragen kann, fällt sie auf die Maßnahmen zurück, die unser Leitfaden zum KI-Risikomanagement beschreibt.

Einen internen Benchmark bauen, der ein Audit übersteht

Die praktische Konsequenz aus alledem lautet, dass sich die Investition meist in den Benchmark lohnt, den Sie selbst bauen.

Von der Zweckbestimmung ausgehen, nicht von der Rangliste

Die Zweckbestimmung ist der Ankerbegriff der KI-Verordnung und der richtige Ausgangspunkt für einen Testsatz. Halten Sie fest, wofür das System dient, wen es betrifft und was eine falsche Antwort im jeweiligen Fall kostet. Stellen Sie anschließend echte Eingaben zusammen, einschließlich der unbequemen: mehrdeutige Anfragen, Randfälle, fehlerhaft formatierte Einträge. Das ist mehr Aufwand als das Lesen einer Rangliste, und die entstehende Bewertung wird sich nicht über Ihren Anwendungsfall hinaus verallgemeinern lassen. Genau darum geht es. Ein Modell, das eine öffentliche Rangliste anführt und bei Ihrer Aufgabe schwach bleibt, ist das falsche Modell für Ihren Einsatz, unabhängig von seinen Werten.

Datenherkunft und zurückgehaltene Testdaten

Drei Eigenschaften trennen einen belastbaren Testsatz von einem, der Sie unbemerkt in die Irre führt.

1. Das Modell hat die Daten nicht gesehen. Verwenden Sie zurückgehaltene Daten, eigens erzeugte Daten oder Daten, die zeitlich nach dem Trainingsstichtag liegen. Andernfalls messen Sie Auswendiglernen.
2. Die Daten bilden Ihre reale Domäne ab. Generischer Webtext sagt nichts darüber aus, wie ein Modell mit Arztbriefen, Kreditakten oder internen Tickets umgeht, deren Vokabular, Struktur und Mehrdeutigkeit einem sauberen Lexikonabsatz in nichts ähneln.
3. Die Referenzwahrheit ist tatsächlich korrekt. Jeder Wert wird gegen einen Lösungsschlüssel gemessen, und ein fehlerhafter Schlüssel deckelt ein gutes Modell und belohnt das falsche Verhalten.

Diese Anforderungen stehen einander entgegen, was man offen aussprechen sollte. Die realistischsten Daten sind meist die sensibelsten, also nicht veröffentlichungsfähig, und eine Veröffentlichung würde künftige Modelle ohnehin kontaminieren. Manuelles Etikettieren in großem Maßstab führt genau jene Fehler in der Referenzwahrheit ein, vor denen die dritte Eigenschaft warnt. Teams lösen das über synthetische Erzeugung, sorgfältige Anonymisierung oder schmale, dafür gut kuratierte Sätze. Eine Option ohne Zielkonflikt gibt es nicht.

Versionierung, Reproduzierbarkeit und Aufbewahrung

Wiederholbarkeit und Reproduzierbarkeit sind hier keine technische Kür. Das Testrahmenwerk AI Verify behandelt sie als eigenständiges Governance-Prinzip und gliedert jede Prüfung in Ergebnis, Prozess und den Nachweis, der ihn validiert. Dieses Muster deckt sich genau mit dem, was eine prüfende Stelle verlangen wird. Ein Messlauf sollte mindestens folgenden Nachweis hinterlassen:

• das Testprotokoll und die Bewertungsregel
• die Version des Datensatzes und einen Inhalts-Hash
• die Modellkennung, ihre Version und den genutzten API-Endpunkt
• die Ausführungsumgebung, die Parameter und ob der Lauf Zero-Shot oder Few-Shot erfolgte
• Datum, ausführende Person sowie die Rohausgaben neben dem berechneten Wert
• die Aufbewahrungsfrist und den Ablageort der Artefakte

Diese Liste verwandelt eine Zahl in ein Artefakt. Sie markiert zugleich den Unterschied zwischen einem prüfbaren System und einem, das lediglich einmal gut abgeschnitten hat, eine Unterscheidung, die wir unter Auditierbarkeit von KI vertiefen. Diese Aufzeichnungen gehören zur technischen Dokumentation, die die KI-Verordnung verlangt, und nicht in einen separaten Ordner des Data-Science-Teams.

Wie Sie die Benchmark-Angaben eines Anbieters prüfen

Benchmark-Tabellen sind der erste Nachweis, den jeder Anbieter vorlegt, und sie werden selten hinterfragt. Sieben Fragen erledigen den Großteil der Arbeit.

1. Welche Bewertungsregel wurde verwendet, und passt sie zu unserem Vergleich? Genauigkeit, pass@k und Elo sind nicht austauschbar. Ein pass@1 und ein pass@10 desselben Modells messen Unterschiedliches, und ein Elo-Abstand beschreibt eine Siegquote im direkten Vergleich, keinen Prozentsatz an Fähigkeit.
2. Zero-Shot oder Few-Shot? Few-Shot-Werte fallen systematisch höher aus.
3. Vollständiger Testsatz oder geprüfte Teilmenge? Von Menschen durchgesehene Teilmengen ohne defekte Einträge liefern sauberere und höhere Zahlen.
4. Wer hat die Bewertung durchgeführt? Ein Wert, den der Anbieter auf der eigenen Umgebung erzeugt hat, ist mit einer unabhängigen Messung nicht vergleichbar.
5. Ist der Testsatz öffentlich, und könnte er ins Training gelangt sein? Wer die Kontaminationsfrage nicht geprüft hat, liefert einen unbrauchbaren Wert.
6. Wann wurde gemessen, bezogen auf die Modellversion, die heute hinter der API steht? Anbieter aktualisieren Modelle still hinter unveränderten API-Namen.
7. Würden Sie den Lauf unter Geheimhaltung auf unserem zurückgehaltenen Satz wiederholen? Die Antwort darauf ist die aufschlussreichste von allen.

Wer diese Fragen nicht beantworten kann, verlangt von Ihnen, eine Marketingzahl als Sicherungsartefakt zu akzeptieren. Das ist ein Befund im Drittparteienrisiko und keine technische Fußnote, und es gehört in dieselbe Bewertung wie die Plattformfragen aus unserem Vergleich der KI-Governance-Tools.

Häufige Fragen

Was ist ein KI-Benchmark? Ein KI-Benchmark ist ein standardisierter Test aus einem festgelegten Datensatz und einer Bewertungsregel, der vergleichbare Leistungszahlen erzeugt. Genutzt wird er, um Kandidatenmodelle zu vergleichen, den Fortschritt zwischen Versionen zu verfolgen und Regressionen zu erkennen. Gemessen wird die Leistung auf den Aufgaben des Tests, die Ihren tatsächlichen Aufgaben ähneln können oder auch nicht. Verlangt die KI-Verordnung Benchmarking? Nicht mit diesen Worten. Artikel 15 fordert von Hochrisikosystemen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit, beständige Leistung über den Lebenszyklus und die Angabe der Genauigkeitsgrade sowie der einschlägigen Genauigkeitsmetriken in der Betriebsanleitung. Das setzt eine belastbare Messpraxis voraus, schreibt aber keinen benannten öffentlichen Benchmark vor. Daneben hält die Verordnung die Kommission an, gemeinsam mit Metrologie- und Benchmarking-Behörden die Entwicklung von Benchmarks und Messmethoden zu fördern, was noch andauert. Anbieter von Modellen mit allgemeinem Verwendungszweck und systemischem Risiko trifft nach Artikel 55 und dem GPAI-Verhaltenskodex eine ausdrücklichere Bewertungspflicht. Sind öffentliche KI-Benchmarks noch nützlich? Ja, als erster Filter, nicht als abschließendes Urteil. Sie engen ein Kandidatenfeld schnell ein und legen grobe Schwächen offen. Wie sich ein Modell auf Ihren Daten, in Ihrer Domäne und unter Ihren Rahmenbedingungen verhält, können sie nicht sagen, und Sättigung wie Kontamination haben diese Lücke vergrößert. Behandeln Sie einen Ranglistenplatz als zu prüfende Hypothese. Was ist Kontamination von Benchmark-Daten? Kontamination liegt vor, wenn Fragen und Antworten eines Benchmarks in den Trainingsdaten eines Modells auftauchen. Weil Benchmarks zur Reproduzierbarkeit offen veröffentlicht werden, gelangen sie regelmäßig in Trainingskorpora. Ein kontaminiertes Modell gibt auswendig gelernte Antworten wieder und erzielt einen hohen Wert, der bei neuen Aufgaben derselben Art zusammenbricht. Der Effekt ist schwer nachzuweisen, wird selten offengelegt und ist der Hauptgrund für das Auseinanderdriften von öffentlichen Werten und realer Leistung. Worin unterscheidet sich Benchmarking von einem KI-Audit? Ein Benchmark misst die Leistung eines Modells auf einer definierten Aufgabe. Ein KI-Audit untersucht das System und die Organisation darum herum: Governance, Risikomanagement, Datenherkunft, menschliche Aufsicht, Dokumentation und die Nachweise hinter jeder Aussage. Benchmark-Ergebnisse sind eine Eingangsgröße des Audits. Für sich genommen beantworten sie eine enge technische Frage, und Prüfende werden nach Konzeption, Versionierung und Aufbewahrung des Laufs fragen, bevor sie die Zahl überhaupt anerkennen. Wie viele Benchmarks sollten wir auf einem Hochrisikosystem ausführen? Weniger, als die meisten Teams annehmen, dafür sorgfältiger gewählt. Ein interner Testsatz aus der Zweckbestimmung wiegt schwerer als fünf öffentliche, weil nur er etwas über die Eignung für den Zweck aussagt. Ergänzen Sie eine Fairnessbewertung mit nach betroffenen Gruppen aufgeschlüsselten Ergebnissen sowie einen Belastungstest für adversariale und verteilungsfremde Eingaben. Diese drei Läufe, versioniert und wiederholbar, ergeben eine stärkere Akte als jede Sammlung von Ranglistenzitaten.

Fazit

KI-Benchmarking ist nicht kaputt, es ist nur falsch abgelegt. Als Ranglistenübung betrieben, erzeugt es Beschaffungstheater: eine Tabelle mit Zahlen, die niemand wiederholen kann, über Aufgaben, die niemand im Raum geprüft hat, auf Modellversionen, die längst ersetzt wurden. Als Messpraxis betrieben, erzeugt es etwas, das eine prüfende Stelle tatsächlich verwenden kann. Der Wechsel ist klein und vor allem organisatorisch. Leiten Sie den Test aus der Zweckbestimmung ab. Halten Sie die Daten zurück. Erfassen Sie Protokoll, Versionen, ausführende Person und Datum. Legen Sie die Artefakte dort ab, wo auch die übrige technische Akte liegt. Sagen Sie klar, was das Ergebnis nicht belegt. Diese letzte Disziplin wiegt am schwersten. Die stärkste Position gegenüber einer Aufsichtsbehörde ist kein hoher Wert, sondern eine dokumentierte Messung, eine ehrliche Angabe ihrer Grenzen und Maßnahmen für alles, was die Messung offenlässt. Diese Aufzeichnungen mit den Maßnahmen zu verknüpfen, die sie stützen, statt sie über Foliensätze und Notebooks zu verstreuen, ist die eigentliche Arbeit eines KI-Governance-Rahmenwerks.