Erklärbarkeit von KI: Leitfaden für Compliance und Governance

Auf einen Blick

• Erklärbarkeit ist die Fähigkeit, in verständlichen Worten darzulegen, warum ein KI-System eine bestimmte Ausgabe erzeugt hat. Sie ist nicht dasselbe wie Interpretierbarkeit, die das innere Funktionieren des Modells betrifft.
• Mit der KI-Verordnung der EU wird Erklärbarkeit von der guten Praxis zur Rechtspflicht: Artikel 13 verlangt von Hochrisiko-Systemen hinreichende Transparenz, und Artikel 86 räumt betroffenen Personen ab dem 2. August 2026 ein Recht auf Erläuterung ein.
• Das KI-Risikomanagement-Rahmenwerk des NIST zählt erklärbare und interpretierbare KI zu seinen sieben Merkmalen vertrauenswürdiger KI, und die Norm ISO/IEC 42001 erwartet, dass Erklärbarkeit gesteuert und belegt wird.
• Ein Governance-Programm muss mehrere Arten von Erläuterung liefern, die Begründung, Verantwortung, Daten, Fairness, Sicherheit und Auswirkung abdecken, nicht eine einzige technische Kennzahl.
• Erklärbarkeit ist prüfbar. Die eigentliche Arbeit besteht darin zu dokumentieren, welche Erläuterungen Sie wem geben und wie Sie sie über den gesamten KI-Lebenszyklus hinweg absichern.

Was Erklärbarkeit in der KI bedeutet (und was nicht)

Erklärbarkeit bezeichnet die Fähigkeit, das Verhalten eines KI-Systems in einer für Menschen nachvollziehbaren Sprache zu beschreiben. Die hilfreichste Unterscheidung, um sich zu orientieren, taucht in den führenden Suchergebnissen immer wieder auf. Wie Splunk es formuliert, beantwortet Erklärbarkeit die Frage, warum ein Modell ein Ergebnis erzeugt hat, während Interpretierbarkeit beantwortet, wie das Modell intern arbeitet. Beide Begriffe hängen zusammen, werden häufig verwechselt, sind aber nicht austauschbar. Eine zweite Unterscheidung schärft das Bild. Das Alan Turing Institute trennt Transparenz, also offenzulegen, wie und warum ein System eingesetzt wird, von Erklärbarkeit, also klare und zugängliche Gründe für eine bestimmte Ausgabe geben zu können. Transparenz ist eine Haltung. Erklärbarkeit ist ein Ergebnis: eine Darstellung, die ein bestimmtes Publikum tatsächlich nutzen kann. Ebenso lohnt es, globale von lokalen Erläuterungen zu trennen. Eine globale Erläuterung beschreibt das Verhalten eines Modells im Allgemeinen, über seinen gesamten Eingaberaum. Eine lokale Erläuterung begründet eine einzelne Entscheidung, den abgelehnten Kredit oder die markierte Transaktion. Compliance-Fragen sind fast immer lokal, denn die betroffene Person will ihren Fall verstehen, nicht das Modell im Abstrakten. Eine Plattform für KI-Governance muss beides unterstützen und klar auseinanderhalten.

Erklärbarkeit und Interpretierbarkeit

Wenn Sie aus diesem Leitfaden eine einzige Unterscheidung mitnehmen, dann diese, denn die Suchnachfrage dazu reißt nicht ab und der regulatorische Einsatz hängt daran. Interpretierbarkeit ist eine Eigenschaft des Modells. Eine lineare Regression oder ein kurzer Entscheidungsbaum sind interpretierbar, weil ein Mensch den Weg von der Eingabe zur Ausgabe nachvollziehen kann, indem er das Modell selbst liest. Erklärbarkeit ist weiter gefasst. Sie ist die Fähigkeit, eine verständliche Darstellung eines Ergebnisses zu erzeugen, selbst wenn das Modell ein tiefes Netz ist, dessen interne Gewichte niemand unmittelbar lesen kann. Das KI-Risikomanagement-Rahmenwerk des NIST bietet eine Formulierung, die Governance-Teams übernehmen können: Erklärbarkeit betrifft die Mechanismen, die dem Betrieb eines KI-Systems zugrunde liegen, während Interpretierbarkeit die Bedeutung der Ausgabe im Kontext ihres vorgesehenen Zwecks betrifft. In der Praxis wird Interpretierbarkeit oft als Teilmenge der Erklärbarkeit behandelt. Man kann eine erklärbare Darstellung eines nicht interpretierbaren Modells haben, und genau in dieser Lage befinden sich die meisten Unternehmen.

Warum Erklärbarkeit zur Compliance-Anforderung wird

Jahrelang lebte Erklärbarkeit in Forschungsarbeiten und Manifesten zu verantwortungsvoller KI. Inzwischen lebt sie im Gesetz und in zertifizierbaren Normen, was ändert, wer sich darum kümmern muss und warum. Das NIST-Rahmenwerk nennt erklärbare und interpretierbare KI als eines von sieben Merkmalen vertrauenswürdiger KI, neben gültig und zuverlässig, sicher, geschützt und widerstandsfähig, rechenschaftspflichtig und transparent, datenschutzfreundlich sowie fair mit beherrschten schädlichen Verzerrungen. NIST ist freiwillig, hat sich aber zur gemeinsamen Sprache des KI-Risikos entwickelt, und die meisten Unternehmensprogramme ordnen ihre Kontrollen daran zu. Die ISO/IEC 42001, die erste zertifizierbare Norm für KI-Managementsysteme, macht aus dieser Sprache etwas Prüfbares. Eine Organisation, die eine Zertifizierung anstrebt, muss nachweisen, dass Erklärbarkeit gesteuert wird: dass sie bei der Auswahl von Modellen berücksichtigt wird, dass Erläuterungen dort entstehen, wo Beteiligte sie benötigen, und dass der Nachweis dafür vorliegt. NIST sagt, was zu adressieren ist; ISO 42001 liefert ein Managementsystem, um zu belegen, dass Sie es adressiert haben. Beide ergänzen sich, und viele Programme betreiben das Rahmenwerk innerhalb der Norm. Der entscheidende Wandel ist rechtlicher Art. Die KI-Verordnung macht ein hinreichendes Maß an Erläuterung zu einer verbindlichen Pflicht für Hochrisiko-Systeme und eröffnet Einzelnen einen Weg, eine solche zu verlangen. Das ist eine andere Welt als eine Checkliste guter Praxis, und es ist der Grund, weshalb Erklärbarkeit nun auf eine Compliance-Roadmap gehört und nicht nur auf das Backlog der Data Science.

Was die KI-Verordnung verlangt, nach Rolle und Risikostufe

Die Verordnung erlegt keine einheitliche Pflicht auf. Sie weist Anbietern und Betreibern unterschiedliche Pflichten zu und staffelt sie nach Risikostufe. Diese Zuordnung richtig zu treffen ist der Unterschied zwischen einem belastbaren Programm und einer Papierübung.

Anbieter von Hochrisiko-Systemen (Artikel 13)

Die zentrale Pflicht liegt bei demjenigen, der ein Hochrisiko-System in Verkehr bringt. Artikel 13 Absatz 1 bestimmt, dass „Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist, damit die Betreiber die Ausgabe eines Systems angemessen interpretieren und verwenden können“. Das Wort interpretieren ist bewusst gewählt: Der Betreiber muss dem, was das System ausgibt, einen Sinn entnehmen können. Diese Pflicht wird vor allem über die Betriebsanleitung erfüllt. Artikel 13 verlangt, dass sie prägnant, vollständig, korrekt und klar ist, und Absatz 3 zählt auf, was sie enthalten muss, darunter die Merkmale des Systems, sein Maß an Genauigkeit, seine bekannten Grenzen und seine technischen Fähigkeiten, seine Ausgabe zu erläutern. Erläuterung ist somit kein Zusatz; sie ist Teil der Dokumentation, die ein Anbieter ausliefert. Sie stützt auch Artikel 14 zur menschlichen Aufsicht, denn ein Mensch kann ein System nicht sinnvoll beaufsichtigen, dessen Ausgabe er nicht interpretieren kann.

Betreiber und das Recht auf Erläuterung (Artikel 86)

Die Verordnung erfasst auch die Organisation, die das System einsetzt. Artikel 86 sieht vor, dass jede betroffene Person, die einer vom Betreiber auf Grundlage der Ausgabe eines in Anhang III aufgeführten Hochrisiko-Systems getroffenen Entscheidung unterliegt, die rechtliche Wirkung entfaltet oder sie in ähnlich erheblicher Weise nachteilig für ihre Gesundheit, Sicherheit oder Grundrechte beeinträchtigt, „das Recht hat, vom Betreiber klare und aussagekräftige Erläuterungen zur Rolle des KI-Systems im Entscheidungsprozess und zu den wesentlichen Elementen der getroffenen Entscheidung zu erhalten“. Dies ist ein Recht der Einzelnen und eine Pflicht der Betreiber, und es wird am 2. August 2026 anwendbar. Eine Bank, ein Versicherer oder ein Arbeitgeber, der ein Hochrisiko-System betreibt, muss bereit sein, eine bestimmte nachteilige Entscheidung der betroffenen Person auf Anfrage in klaren Worten zu erläutern. Das ist eine lokale Erläuterung, auf Anfrage, mit einer Frist.

Transparenz nach Artikel 50 ist nicht Erklärbarkeit

Eine Falle sei ausdrücklich benannt. Artikel 50 erlegt bestimmten Systemen mit begrenztem Risiko Transparenzpflichten auf, etwa Menschen darauf hinzuweisen, dass sie mit einem Chatbot sprechen, oder synthetische Inhalte zu kennzeichnen. Das sind Offenlegungspflichten, und sie sind nicht dasselbe wie die Erläuterung einer Entscheidung. Ein System kann die Offenlegung nach Artikel 50 erfüllen und dennoch nichts nach Artikel 13 oder 86 schulden, und umgekehrt. Behandeln Sie beides als getrennte Linien Ihres Compliance-Programms, damit ein Hinweisbanner nie mit einer Erläuterung verwechselt wird.

Die sechs Arten der Erläuterung, die ein Governance-Programm liefern sollte

Die meisten Wettbewerbsinhalte enden bei einer einzigen technischen Erläuterung, einem Diagramm der Merkmalswichtigkeit, und halten die Aufgabe für erledigt. Ein Governance-Programm braucht mehr, denn unterschiedliche Adressaten brauchen unterschiedliche Darstellungen derselben Entscheidung. Das Alan Turing Institute legt sechs Arten der Erläuterung dar, die zusammen ein rundes Bild ergeben und gut auf das passen, was Aufsichtsbehörden und Betroffene tatsächlich verlangen.

• Begründung: die Gründe für ein Ergebnis, in zugänglichen Worten statt in den Interna des Modells.
• Verantwortung: wer für das System einsteht und wie eine Person eine Entscheidung anfechten oder überprüfen lassen kann.
• Daten: welche Daten verwendet wurden, woher sie stammen und wie sie das Ergebnis geprägt haben.
• Fairness: die Schritte, um eine nichtdiskriminierende Entscheidung sicherzustellen, was Erklärbarkeit unmittelbar mit der Beherrschung von Verzerrungen verbindet.
• Sicherheit: die Genauigkeit, Zuverlässigkeit, Sicherheit und Robustheit hinter der Ausgabe.
• Auswirkung: die Folgen der Entscheidung für die Person und die Gesellschaft.

Dieselbe Quelle ordnet die Disziplin um vier Maximen: transparent sein, rechenschaftspflichtig sein, den Kontext berücksichtigen und über Auswirkungen nachdenken. Das sind operative Verpflichtungen statt Schlagworte. Sie verlangen von einem Team, jede Erläuterung an ihr Publikum anzupassen, klare Verantwortung zuzuweisen und die Folgen abzuwägen, eine Erläuterung zu geben oder zu verweigern. Eine Aufsichtsbehörde, die eine nachteilige Entscheidung prüft, wird sich selten mit einer Begründung allein zufriedengeben; sie verlangt auch die Darstellungen zu Verantwortung, Daten und Fairness.

Techniken der Erklärbarkeit und ihre Governance-Abwägungen

Erläuterungen kommen von irgendwoher, und die gewählte Methode trägt Governance-Folgen. Es gibt zwei große Familien. Intrinsische Erklärbarkeit entsteht aus der Verwendung eines von Natur aus interpretierbaren Modells, etwa eines linearen Modells, eines generalisierten additiven Modells oder eines flachen Entscheidungsbaums. Die Erläuterung ist das Modell selbst. Die Abwägung besteht darin, dass solche Modelle bei komplexen Problemen schwächer abschneiden können. Nachgelagerte Erklärbarkeit setzt auf einem undurchsichtigen Modell auf. Verfahren wie SHAP und LIME nähern an, welche Merkmale eine bestimmte Vorhersage getrieben haben. Kontrafaktische Erläuterungen beschreiben die kleinste Änderung, die das Ergebnis verändert hätte, oft die intuitivste Darstellung für eine betroffene Person, weil sie die Frage beantwortet, was hätte anders sein müssen. Ersatzmodelle und Methoden der Merkmalswichtigkeit geben einen globalen Blick auf das Verhalten. Die zentrale Abwägung steht zwischen Vorhersageleistung und Erläuterbarkeit. Der Reflex, das genaueste Modell zu wählen und nachträglich einen Erklärer anzuhängen, ist verständlich, doch nachgelagerte Erläuterungen sind Näherungen und können in die Irre führen, wenn man sie für die Wahrheit hält. Die Governance-Entscheidung lautet nicht, welche Technik im Abstrakten die beste ist, sondern welche dem Publikum vor Ihnen, einer Aufsichtsbehörde, einem Prüfer oder einer betroffenen Person, eine für diese Entscheidung verlässliche Darstellung gibt. Halten Sie die Methode, ihre Grenzen und den Grund ihrer Wahl fest.

Erklärbarkeit als prüfbare Kontrolle umsetzen

Die Lücke zwischen einem Grundsatz verantwortungsvoller KI und einer bestandenen Prüfung ist die Dokumentation. Erklärbarkeit wird zur Kontrolle, wenn Sie für ein bestimmtes System zeigen können, welche Erläuterungen Sie wem mit welcher Methode liefern und wer freigegeben hat. Das Alan Turing Institute koppelt seinen Grundsatz der Erklärbarkeit an eine Vorlage zum Management der Erklärbarkeitssicherung, ein iteratives Werkzeug zum Planen, Umsetzen und Belegen von Erläuterungsaktivitäten über den Lebenszyklus hinweg, damit die Klärung von Ausgaben gegenüber betroffenen Beteiligten dokumentiert statt improvisiert wird. Die Struktur zählt mehr als die konkrete Vorlage. Eine tragfähige Kontrolle hat vier Teile: ein Verzeichnis, welche Erläuterungsarten jedes System schuldet und welchem Publikum; die zur Erzeugung verwendete Technik; den Nachweis, dass die Erläuterung bei Bedarf tatsächlich verfügbar war; und eine benannte verantwortliche Person, die sie prüft, während sich das Modell ändert. Hier hört Erklärbarkeit auf, eine Angelegenheit der Data Science zu sein, und wird zum Programm. Jedes Hochrisiko-System seinen Pflichten nach Artikel 13 und 86 zuzuordnen, die Erläuterungsartefakte beizufügen und den Nachweis bei jedem Neutraining aktuell zu halten, ist genau die Arbeit, für die eine Plattform für KI-Governance gebaut ist. Einmal von Hand erledigt, ist es ein Projekt. Fortlaufend über ein ganzes Portfolio erledigt, braucht es ein führendes System.

Häufige Fragen

Was ist der Unterschied zwischen Erklärbarkeit und Interpretierbarkeit? Interpretierbarkeit ist eine Eigenschaft des Modells: Ein einfaches Modell, dessen Logik ein Mensch unmittelbar lesen kann, ist interpretierbar. Erklärbarkeit ist die weiter gefasste Fähigkeit, eine verständliche Darstellung eines Ergebnisses zu geben, selbst für ein komplexes Modell, das niemand direkt lesen kann. Eine geläufige Kurzformel sagt, dass Interpretierbarkeit beantwortet, wie das Modell arbeitet, während Erklärbarkeit beantwortet, warum eine bestimmte Ausgabe entstand. In der Governance können Sie eine Erläuterung für ein Modell schulden, das selbst nicht interpretierbar ist, und das ist die Lage der meisten Unternehmen. Gilt das Recht auf Erläuterung der KI-Verordnung bereits? Noch nicht. Artikel 86, das Recht betroffener Personen, vom Betreiber klare und aussagekräftige Erläuterungen zu einer Hochrisiko-Entscheidung zu erhalten, wird am 2. August 2026 anwendbar. Die Transparenzpflichten nach Artikel 13 für Anbieter von Hochrisiko-Systemen folgen dem für diese Anforderungen vorgesehenen Zeitplan. Organisationen, die Hochrisiko-Systeme betreiben, sollten die Erläuterungsfähigkeit jetzt aufbauen, statt auf das Datum zu warten. Gilt Erklärbarkeit für jedes KI-System? Nein. Die verbindlichen Pflichten der KI-Verordnung richten sich auf Hochrisiko-Systeme. Systeme mit begrenztem Risiko tragen Offenlegungspflichten nach Artikel 50, etwa offenzulegen, dass ein Inhalt KI-erzeugt ist, was sich von der Erläuterung einer Entscheidung unterscheidet. Systeme mit minimalem Risiko tragen keine spezifische Erklärbarkeitspflicht nach der Verordnung. Allerdings behandeln NIST und ISO 42001 Erklärbarkeit als allgemeines Merkmal vertrauenswürdiger KI, sodass die meisten reifen Programme eine verhältnismäßige Variante über das gesamte Portfolio anwenden. Was gilt einer Aufsichtsbehörde als gute Erläuterung? Ein einzelnes Diagramm der Merkmalswichtigkeit genügt selten. Eine Aufsichtsbehörde, die eine nachteilige Entscheidung prüft, will in der Regel mehrere Darstellungen zusammen: die Begründung des Ergebnisses, wer verantwortlich ist und wie es angefochten werden kann, welche Daten verwendet wurden, die getroffenen Fairness-Schritte und die Sicherheitsgrundlage der Ausgabe. Die Erläuterung an das Publikum anzupassen und zu dokumentieren ist ebenso wichtig wie die technische Methode dahinter. Reichen SHAP oder LIME, um von Erklärbarkeit zu sprechen? Diese Verfahren sind nützlich, aber sie sind nachgelagerte Näherungen eines undurchsichtigen Modells, nicht die ganze Erklärbarkeit. Sie können in die Irre führen, wenn man sie als exakte Wahrheit nimmt, und sie beantworten eine technische Frage, nicht die Governance-Fragen zu Verantwortung, Daten und Auswirkung. Nutzen Sie sie als einen Baustein, halten Sie ihre Grenzen fest und verbinden Sie sie mit der Dokumentation und Verantwortung, die Erklärbarkeit prüfbar machen. Wie hängt Erklärbarkeit mit menschlicher Aufsicht zusammen? Eng. Artikel 14 der KI-Verordnung verlangt wirksame menschliche Aufsicht über Hochrisiko-Systeme, und ein Mensch kann ein System nicht sinnvoll beaufsichtigen, dessen Ausgabe er nicht interpretieren kann. Erklärbarkeit ist die Voraussetzung der Aufsicht: ohne eine verständliche Darstellung, warum das System ein Ergebnis erzeugt hat, gibt der Mensch in der Schleife Ausgaben blind frei.

Fazit

Erklärbarkeit hat den Schritt vom Grundsatz zur Pflicht vollzogen. Es genügt nicht mehr zu sagen, ein Modell sei genau; nach der KI-Verordnung, dem NIST und der ISO 42001 muss eine Organisation sagen können, warum ein System zu einer Entscheidung gelangt ist, in Worten, die das richtige Publikum nutzen kann, und es belegen. Teams, die dies als Frage der Dokumentation und Governance angehen und nicht als einmaligen technischen Kniff, sind bereit für Artikel 86 im Jahr 2026 und für die folgenden Prüfungen. Der erste konkrete Schritt ist bescheiden: Listen Sie Ihre Hochrisiko-Systeme auf, entscheiden Sie, welche Erläuterungen jedes schuldet und wem, und beginnen Sie, den Nachweis aufzubewahren. Sehen Sie, wie die AI-Sigil-Plattform daraus eine wiederholbare Kontrolle macht.