KI-Sicherheit: KI-Systeme steuern und absichern

Auf einen Blick

• KI-Sicherheit bedeutet, die Daten, Modelle, Pipelines und Schnittstellen eines KI-Systems über den gesamten Lebenszyklus zu schützen. Sie ist eine eigene Disziplin und nicht dasselbe wie der Einsatz von KI für den Sicherheitsbetrieb.
• Mit der KI-Verordnung ist KI-Sicherheit nicht länger freiwillig: Artikel 15 verlangt für Hochrisiko-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit, einschließlich der Widerstandsfähigkeit gegen adversariale Angriffe und Datenvergiftung.
• Die Bedrohungen sind spezifisch für maschinelles Lernen: adversariale Beispiele, Daten- und Modellvergiftung, Modelldiebstahl, Prompt-Injection und unsichere Ausgabeverarbeitung, erfasst in der OWASP Top 10 für LLM-Anwendungen und in MITRE ATLAS.
• Was nicht inventarisiert ist, lässt sich nicht schützen: ein Register der KI-Systeme und die Erkennung von Schatten-KI sind die erste Kontrolle, kein Nachgedanke.
• Erfolgreiche Organisationen behandeln KI-Sicherheit als geführten Kontrollsatz, der mit der KI-Verordnung, der ISO/IEC 42001 und dem NIST AI RMF verknüpft ist, gestützt auf Nachweise, die eine Prüferin akzeptiert, statt auf ein Dashboard.

Was ist KI-Sicherheit?

KI-Sicherheit ist der Schutz eines KI-Systems und all dessen, worauf es beruht: der Trainings- und Inferenzdaten, des Modells selbst, der Pipelines, die es bauen und ausliefern, sowie der Schnittstellen, über die es Nutzern und anderen Systemen zugänglich wird. Sie umfasst den gesamten Lebenszyklus, von der Datenerhebung über Training, Bereitstellung und Überwachung bis zur Stilllegung.

Eine Unterscheidung sorgt zu Beginn oft für Verwirrung, deshalb sei sie klar benannt. KI für Sicherheit einzusetzen heißt, maschinelles Lernen auf Abwehraufgaben anzuwenden, etwa Anomalieerkennung oder Alarmtriage. KI-Sicherheit, das Thema dieses Leitfadens, heißt, das KI-System selbst gegen Angriffe und Ausfälle zu schützen. Die Unterscheidung zählt, weil beide unterschiedliche Verantwortliche, unterschiedliche Kontrollen und unterschiedliche Nachweise verlangen.

Warum wiegt diese Unterscheidung für die Compliance schwer? Weil Aufsichtsbehörden die Sicherheit des KI-Systems inzwischen als benannte Pflicht behandeln. Die KI-Verordnung fasst Genauigkeit, Robustheit und Cybersicherheit für Hochrisiko-Systeme in einem einzigen Artikel zusammen (Artikel 15 der KI-Verordnung). Sobald Sicherheit eine gesetzliche Anforderung ist und keine technische Vorliebe, braucht sie Governance: definierte Kontrollen, zugewiesene Verantwortung und Aufzeichnungen, die belegen, dass die Kontrollen wirken.

Warum KI-Sicherheit heute eine Compliance-Anforderung ist

Ein Jahrzehnt lang war das Absichern eines Modells eine gute Idee, die in der Entwicklung blieb. Das hat sich geändert. Drei Instrumente machen KI-Sicherheit heute zur dokumentierten Pflicht.

Zunächst die KI-Verordnung. Artikel 15 verpflichtet Anbieter von Hochrisiko-Systemen, diese so zu gestalten, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen, und diese Eigenschaften über die Lebensdauer des Systems zu erhalten. Der Text benennt den Angreifer unmittelbar: Systeme müssen Versuchen unbefugter Dritter widerstehen, ihre Verwendung, Ausgaben oder Leistung zu verändern, einschließlich adversarialer Angriffe und Datenvergiftung.

Sodann die ISO/IEC 42001. Die Norm von 2023 ist das erste zertifizierbare KI-Managementsystem, und ihre Kontrollen in Anhang A bündeln KI-Sicherheit, Datenverwaltung und die Minderung adversarialer Angriffe in einem System, das eine externe Stelle prüfen kann (ISO/IEC 42001). Sicherheit erhält damit einen Platz in einem geführten Zyklus statt in einem Rückstand.

Schließlich das KI-Risikomanagement-Rahmenwerk des NIST. Das NIST gliedert die Arbeit in vier Funktionen, Steuern, Abbilden, Messen und Handhaben, und in der Funktion Handhaben liegen die Sicherheitskontrollen (NIST AI RMF). Zusammen mit der Zuordnung der Rahmenwerke in unserem Leitfaden zu den Referenzwerken wird Sicherheit so zur wiederholbaren, belegten Routine.

Die Lücke zwischen Pflicht und Fähigkeit ist groß. In einer Erhebung von Microsoft unter 28 Organisationen fehlten 25 die richtigen Werkzeuge, um ihre KI-Systeme abzusichern. Die Compliance schließt diese Lücke, weil sie Inventar, Kontrollauswahl und Nachweis erzwingt, statt Sicherheit dem zu überlassen, der daran denkt.

Die Bedrohungslage der KI

Ein KI-System zu schützen beginnt damit, zu wissen, wogegen man sich verteidigt. KI-Angriffe decken sich nicht sauber mit klassischer Anwendungssicherheit, denn Modell, Daten und Prompt sind allesamt Angriffsflächen. Es hilft, Bedrohungen nach ihrem Ziel zu ordnen. Die Wissensbasis MITRE ATLAS erfasst diese Techniken in einer an ATT&CK angelehnten Matrix, und unser MITRE-ATLAS-Leitfaden führt die Zuordnung von Technik zu Kontrolle aus.

Angriffe auf das Modell

Adversariale Beispiele sind Eingaben, die ein Modell zur Fehlklassifikation verleiten und dabei für das menschliche Auge normal wirken. Evasionsangriffe setzen sie zur Inferenzzeit ein, um einen Klassifikator zu umgehen. Modellextraktion, also Modelldiebstahl, fragt ein bereitgestelltes Modell so oft ab, dass sich eine funktionsfähige Kopie rekonstruieren lässt, was geistiges Eigentum entwendet und ein Schattenmodell schafft, das eine Angreiferin offline untersuchen kann.

Angriffe auf die Daten

Datenvergiftung verdirbt den Trainingsdatensatz, sodass das Modell das Falsche lernt, von schleichender Genauigkeitsminderung bis zu versteckten Hintertüren, die bei einer gewählten Eingabe auslösen. Angriffe durch Zugehörigkeitsinferenz gehen den umgekehrten Weg: Sie prüfen, ob ein bestimmter Datensatz in den Trainingsdaten enthalten war, was persönliche oder vertrauliche Informationen offenlegen kann.

Angriffe auf die Anwendungsschicht

Bei Systemen auf Basis großer Sprachmodelle ist die Anwendungsschicht heute das weichste Ziel. Die OWASP Top 10 für LLM-Anwendungen führt die Prompt-Injection an, bei der eine Angreiferin Anweisungen in einem Prompt, einem Dokument oder einer Werkzeugausgabe verbirgt, um die Leitplanken des Modells zu umgehen, Daten abzuziehen oder über angebundene Werkzeuge Aktionen auszulösen. Die unsichere Ausgabeverarbeitung, bei der die Antwort des Modells ungeprüft weitergereicht wird, verwandelt einen Sprachfehler in eine Systemkompromittierung.

Lieferkette und agentische Risiken

Modelle, Datensätze und Bibliotheken stammen von Dritten, sodass ein vergiftetes offenes Modell oder eine kompromittierte Abhängigkeit ein Lieferkettenrisiko darstellt. Agentische Systeme, die Werkzeuge aufrufen und auf ihre eigenen Ausgaben hin handeln, vergrößern den Wirkradius: eine einzige gelungene Injection kann sich zu realen Handlungen fortpflanzen. Unser Leitfaden zu autonomen KI-Agenten behandelt die Governance-Kontrollen, die solche Systeme brauchen.

Was man nicht sieht, kann man nicht schützen: KI-Inventar und Schatten-KI

Jede folgende Kontrolle setzt voraus, dass Sie wissen, welche KI-Systeme Sie betreiben. Die meisten Organisationen wissen es nicht. Teams führen Copilots ein, binden Drittmodelle ein und verdrahten Agenten schneller, als eine zentrale Stelle mitkommt, und erzeugen so Schatten-KI: KI im Einsatz, die die Governance nie gesehen hat.

Schatten-KI ist ein Sicherheitsproblem, bevor sie ein Compliance-Problem ist. Ein nicht erfasstes Modell hat weder Verantwortlichen noch Bedrohungsbewertung, weder Überwachung noch Meldeweg. Die erste Kontrolle eines KI-Sicherheitsprogramms ist deshalb keine Firewall, sondern ein Inventar. Ein lebendiges Register der KI-Systeme, ihrer Daten, ihrer Modelle und ihrer Risikostufe macht jede spätere Kontrolle möglich. Unser Leitfaden zur Schatten-KI erklärt, wie verborgene KI-Nutzung zur Governance-Lücke wird und warum die Erkennung die Kontrolle null ist.

KI-Sicherheit den Rahmenwerken zuordnen: KI-Verordnung, ISO 42001, NIST AI RMF

Der Schritt, den keine konkurrierende Seite geht, verknüpft jede Bedrohung mit der Kontrolle, die sie beantwortet, und der Klausel, die sie verlangt. Genau das macht aus KI-Sicherheit statt einer Einkaufsliste von Werkzeugen eine verteidigbare Compliance-Position.

Pflicht	Was sie verlangt	Kontrolle, die sie erfüllt
Artikel 15 KI-VO (Robustheit)	Widerstandsfähigkeit gegen Fehler, Störungen und adversariale Manipulation	Adversariale Tests und Red Teaming, Tests außerhalb der Verteilung
Artikel 15 KI-VO (Cybersicherheit)	Widerstand gegen unbefugte Veränderung von Verwendung, Ausgaben oder Leistung	Zugriffskontrolle, Integrität von Modell und Daten, sichere Auslieferung
ISO/IEC 42001 Anhang A	Geführte KI-Sicherheitskontrollen in einem zertifizierten System	Dokumentierter Kontrollsatz, benannter Verantwortlicher, Prüfzyklus
NIST AI RMF (Handhaben)	Priorisierte Behandlung erkannter KI-Risiken	Risikoregister, Kontrollzuordnung, Überwachung

Erstellen Sie die Zuordnung einmal, und jede Prüfung wird zum Nachschlagen statt zur Hetze. Die ISO-42001-Erläuterung und der NIST-AI-RMF-Leitfaden vertiefen beide Seiten, und der operative Leitfaden zur KI-Verordnung verortet Artikel 15 unter den weiteren Pflichten für Hochrisiko-Systeme.

Von Bedrohungen zu prüfbaren Kontrollen

Eine Bedrohung, die man nicht belegen kann, ist eine Bedrohung, die man in der Prüfung nicht verteidigen kann. Jede Bedrohungsklasse sollte sich daher in eine benannte Kontrolle mit Verantwortlichem und Aufzeichnung auflösen.

• Adversariale und Evasionsangriffe: geplante adversariale Tests und Red Teaming, mit protokollierten und bei jeder Modelländerung erneut ausgeführten Ergebnissen.
• Datenvergiftung: Datenherkunft und Nachvollziehbarkeit, Integritätskontrollen der Trainingspipeline.
• Modelldiebstahl: Ratenbegrenzung, Abfrageüberwachung und Zugriffskontrolle an den Inferenzendpunkten.
• Prompt-Injection und unsichere Ausgaben: Eingabe- und Ausgabevalidierung, Zulassungslisten für Werkzeuge, Trennung zwischen Modell und nachgelagerten Aktionen.
• Drift und Alterung: fortlaufende Überwachung von Leistung und Verhalten, mit Schwellen, die einen Alarm auslösen.

Der Zweck, Kontrollen so zu fassen, ist nicht die Liste, sondern der Nachweis. Ein Dashboard zeigt einen Zustand im Jetzt; eine Prüferin braucht eine Aufzeichnung über die Zeit. Jede Kontrolle sollte ein datiertes Artefakt erzeugen: einen Testbericht, ein Überwachungsprotokoll, eine Zugriffsprüfung. Unser Leitfaden zur Prüfbarkeit legt dar, was ein KI-System prüfbar macht und wie man es belegt, und die fortlaufende Compliance-Überwachung ist der Weg, auf dem sich diese Artefakte ohne manuelle Hetze vor jeder Prüfung ansammeln.

Wer verantwortet die KI-Sicherheit? Rollen und Governance

KI-Sicherheit scheitert, wenn jeder annimmt, ein anderer sei zuständig. Klassische Cybersicherheit liegt beim CISO, doch KI-Sicherheit erstreckt sich über Data Science, MLOps und Compliance, weshalb die Verantwortung ausdrücklich sein muss.

Eine praktikable Aufteilung überträgt die Rechenschaft einem benannten KI-Governance-Verantwortlichen oder einem Ausschuss, wobei der CISO für die Sicherheitskontrollen, die Data Science für die Modelltests und die Compliance für Nachweise und Rahmenzuordnung einsteht. Eine kurze Verantwortungsmatrix, einmal vereinbart, verhindert das häufige Versagen, dass ein Modell ohne Sicherheitsverantwortlichen ausgeliefert wird. Diese Governance-Ebene ist Gegenstand unseres Leitfadens zum Betriebssystem der KI-Governance, der zeigt, wie sich diese Rollen mit der weiteren Kontrollumgebung verbinden.

Wie man ein KI-Sicherheitsprogramm umsetzt

Diese Gedanken in ein laufendes Programm zu überführen ist eine Abfolge, kein Projekt mit Enddatum.

1. Jedes KI-System inventarisieren, Schatten-KI eingeschlossen, und jedem eine Risikostufe zuweisen.
2. Je System eine Bedrohungs- und Risikobewertung durchführen, mit der OWASP LLM Top 10 und MITRE ATLAS als Prüflisten.
3. Kontrollen aus Ihrer Rahmenzuordnung auswählen und jeder einen Verantwortlichen zuweisen.
4. Die Kontrollen testen: adversariale Tests, Red Teaming und Validierung, bemessen nach Risikostufe.
5. Nachweise als datierte Artefakte je Kontrolle erfassen.
6. Fortlaufend auf Drift, Missbrauch und neue Schwachstellen überwachen.
7. Die Vorfallbehandlung einbinden, einschließlich behördlicher Meldung, wo erforderlich. Die KI-Verordnung setzt Pflichten zur Meldung schwerwiegender Vorfälle, behandelt in unserem Leitfaden zur Meldung nach Artikel 73.

Führen Sie die Abfolge als Schleife. Jedes neue Modell tritt bei Schritt eins wieder ein, und jede wesentliche Änderung löst Tests und Nachweis erneut aus.

Häufige Fragen

Was ist KI-Sicherheit, einfach gesagt?

KI-Sicherheit heißt, ein KI-System, seine Daten, sein Modell, seine Pipelines und seine Schnittstellen über den gesamten Lebenszyklus vor Angriffen und Ausfällen zu schützen. Sie unterscheidet sich vom Einsatz der KI für Sicherheitsarbeit wie der Bedrohungserkennung. Im Compliance-Kontext umfasst sie zudem benannte Pflichten, etwa die Anforderung aus Artikel 15 der KI-Verordnung, dass Hochrisiko-Systeme Genauigkeit, Robustheit und Cybersicherheit wahren.

Worin unterscheiden sich KI-Sicherheit und Cybersicherheit?

Klassische Cybersicherheit schützt Netze, Anwendungen und Endgeräte. KI-Sicherheit fügt Angriffsflächen hinzu, die klassische Kontrollen nicht abdecken: die Trainingsdaten, das gelernte Verhalten des Modells und den Prompt. Eine Firewall stoppt weder Datenvergiftung noch Prompt-Injection. KI-Sicherheit erweitert die Cybersicherheit daher um modellbewusste Kontrollen wie adversariale Tests, Datenherkunft und Ausgabevalidierung und verknüpft sie mit KI-spezifischen Rahmenwerken.

Was sind die wichtigsten KI-Bedrohungen?

Die wiederkehrenden Klassen sind adversariale Beispiele und Evasionsangriffe auf Modelle, Daten- und Modellvergiftung, Modelldiebstahl oder -extraktion, Zugehörigkeitsinferenz, Prompt-Injection und unsichere Ausgabeverarbeitung auf der Anwendungsschicht sowie Lieferkettenrisiken durch Drittmodelle und -bibliotheken. Die OWASP Top 10 für LLM-Anwendungen und MITRE ATLAS sind die beiden Referenzkataloge, mit denen die meisten Teams prüfen, dass keine Kategorie fehlt.

Verlangt die KI-Verordnung KI-Sicherheit?

Ja. Artikel 15 verpflichtet Anbieter von Hochrisiko-Systemen, ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit zu erreichen und über die Lebensdauer des Systems stabil zu halten. Er benennt ausdrücklich die Widerstandsfähigkeit gegen adversariale Angriffe und Datenvergiftung. Sicherheit ist damit eine dokumentierte Pflicht für Hochrisiko-Systeme, keine freiwillige technische Praxis.

Wie hängen ISO 42001 und NIST AI RMF mit KI-Sicherheit zusammen?

Die ISO/IEC 42001 ist ein zertifizierbares KI-Managementsystem, dessen Kontrollen in Anhang A KI-Sicherheit einschließen und ihr ein geführtes, prüfbares Zuhause geben. Das NIST AI RMF gliedert die Arbeit in Steuern, Abbilden, Messen und Handhaben, wobei die Sicherheitsbehandlungen in der Funktion Handhaben liegen. Zusammen erlauben sie, jede Sicherheitskontrolle einer anerkannten Klausel zuzuordnen, was die Prüfung zum Nachschlagen statt zur Hetze macht.

Womit beginnt ein KI-Sicherheitsprogramm?

Mit dem Inventar. Man kann ein KI-System, das man nicht erfasst hat, weder absichern noch testen noch bezeugen, und die meisten Organisationen betreiben Schatten-KI, die die Governance nie gesehen hat. Bauen Sie ein lebendiges Register der KI-Systeme mit ihren Daten, Modellen und Risikostufen, führen Sie dann Bedrohungsbewertungen durch, wählen Sie rahmenzugeordnete Kontrollen, testen Sie diese und erfassen Sie datierte Nachweise. Das Inventar ist die Kontrolle null; alles Weitere hängt daran.

Fazit

KI-Sicherheit ist von der technischen Kür zur benannten Compliance-Pflicht geworden, und die Seiten, die für den Begriff ranken, sind nicht nachgezogen: Sie beschreiben Bedrohungen und verkaufen Werkzeuge, ohne die Sicherheit mit den Rahmenwerken zu verknüpfen, die sie nun verlangen. Organisationen, die es richtig angehen, behandeln KI-Sicherheit als geführten Kontrollsatz, verknüpft mit der KI-Verordnung, der ISO 42001 und dem NIST AI RMF, ausgehend von einem ehrlichen Inventar und mündend in Nachweise, die eine Prüferin akzeptiert. AI Sigil ist gebaut, um genau diese Schleife auszuführen, von der KI-Erkennung über die Kontrollzuordnung bis zu prüfbereiten Nachweisen. Sehen Sie, wie das Betriebssystem der KI-Governance KI-Sicherheit zu einer verteidigbaren, fortlaufenden Fähigkeit macht.