Auf einen Blick
- Adversariale KI ist die gezielte Manipulation eines Machine-Learning-Modells über seine Eingaben, seine Trainingsdaten oder seine Parameter, damit es falsch klassifiziert, Daten preisgibt oder eine vom Angreifer gewünschte Ausgabe liefert.
- Die wichtigsten Angriffsfamilien sind Evasion, Data Poisoning und Angriffe auf die Vertraulichkeit (Extraktion), dazu Prompt Injection und Jailbreaks gegen generative Modelle.
- Robustheit ist keine Kür mehr: Artikel 15 der EU-KI-Verordnung schreibt Hochrisiko-KI ab dem 2. August 2026 Genauigkeit, Robustheit und Cybersicherheit vor.
- Wirksame Abwehr braucht technische Kontrollen (adversariales Training, Eingabefilterung, Red Teaming) und Governance-Kontrollen (eine benannte verantwortliche Person, dokumentierte Nachweise, ein Prüfzyklus).
- Behandeln Sie adversariale KI als gesteuertes Risiko in Ihrem KI-Managementsystem, nicht als einmaligen Sicherheitskauf.
Was ist adversariale KI?
Adversariale KI umfasst Angriffe, die Machine-Learning-Systeme über ihre Art zu lernen und zu entscheiden ausnutzen. Der Angreifer bricht nicht in einen Server ein, sondern legt dem Modell unauffällige Daten vor, die es zu einem falschen oder gefährlichen Ergebnis lenken. Die Forschung spricht auch von adversarial machine learning, und beide Begriffe meinen dasselbe Feld. Am anschaulichsten ist das adversariale Beispiel. Wenige Aufkleber auf einem Stoppschild oder eine Handvoll veränderter Pixel in einem Bild genügen, damit ein sehr genaues Bildmodell das Schild als Geschwindigkeitsbegrenzung liest. Die Änderung bleibt für Menschen oft unsichtbar, kippt aber die Ausgabe des Modells. Genau diese Lücke zwischen menschlicher und maschineller Wahrnehmung greift jeder adversariale Angriff an. Der Unterschied zum klassischen Hacking liegt im Ziel. Herkömmliche Cybersicherheit schützt Code, Netzwerke und Zugangsdaten. Adversariale KI zielt auf die statistische Logik des Modells: die Daten, aus denen es gelernt hat, die Grenzen, die es zwischen Klassen zieht, und das Vertrauen, das es in die eigenen Antworten setzt. Für Organisationen, die KI in Personalauswahl, Kreditvergabe, medizinischer Triage oder Betrugserkennung einsetzen, bündelt diese Logik zugleich den Wert und das Risiko. Das Feld hat inzwischen einen offiziellen Bezugspunkt. NIST AI 100-2e2025, veröffentlicht im März 2025, ist die maßgebliche Taxonomie der Angriffe und Gegenmaßnahmen im adversarialen Machine Learning. Wer ein KI-Risikomanagement aufbaut, sollte seine Kontrollen daran ausrichten.
Wie adversariale KI-Angriffe funktionieren
Die meisten Angriffe folgen einem erkennbaren Ablauf. Zuerst untersucht der Angreifer das Zielsystem, um zu verstehen, was es tut und wie es reagiert. Dann fertigt er eine Eingabe, ein vergiftetes Trainingsbeispiel oder einen manipulierten Prompt, der die gewünschte Fehlfunktion auslöst. Schließlich liefert er diese Last aus, beobachtet das Ergebnis und verfeinert den Angriff oder verwischt seine Spuren. Die NIST-Taxonomie ordnet Angriffe nach einigen praktischen Dimensionen, die jeweils die Verteidigung verändern. Die erste ist das Ziel: die Integrität des Modells brechen (eine falsche Antwort erzwingen), seine Verfügbarkeit (die Leistung mindern) oder seine Vertraulichkeit (Daten oder das Modell selbst extrahieren). Die zweite ist der Zugang: Kann der Angreifer nur Eingaben senden oder auch die Trainingspipeline erreichen. Die dritte ist das Wissen. Bei einem White-Box-Angriff kennt der Gegner Architektur und Gewichte, was das Erstellen adversarialer Eingaben erleichtert. Bei einem Black-Box-Angriff weiß er fast nichts und muss das Modell von außen sondieren. Die letzte Dimension ist der Zeitpunkt im Lebenszyklus. Angriffe zur Trainingszeit verderben die Daten oder den Prozess, während das Modell entsteht. Angriffe zur Einsatzzeit manipulieren Live-Eingaben im Produktivbetrieb. Adversariale Risiken zu steuern heißt, beide Enden des Lebenszyklus abzudecken. Ein Inventar Ihrer KI-Systeme und ihrer Datenquellen ist deshalb Voraussetzung, nicht Zugabe.
Die wichtigsten Arten adversarialer Angriffe
Vier Familien decken das meiste ab, womit Organisationen heute konfrontiert sind. Evasion geschieht zur Inferenzzeit. Der Angreifer verändert eine legitime Eingabe so, dass das eingesetzte Modell sie falsch klassifiziert, während sie für Menschen normal aussieht. Spam, der den Filter passiert, auf harmlos getrimmte Schadsoftware und das präparierte Stoppschild sind Evasion-Angriffe. Poisoning geschieht zur Trainingszeit. Der Angreifer schleust verfälschte oder falsch etikettierte Daten in den Trainingssatz ein oder manipuliert das Modell beim Fine-Tuning, sodass das fertige Modell einen versteckten Fehler trägt. Eine Hintertür, die sich bis zu einem bestimmten Auslöser normal verhält, ist ein Poisoning-Angriff. Vertraulichkeits- und Extraktionsangriffe zielen auf Geheimhaltung. Membership Inference verrät, ob ein bestimmter Datensatz im Training war. Model Extraction stiehlt durch wiederholte Abfragen eine funktionsfähige Kopie eines Modells. Model Inversion rekonstruiert sensible Eingaben aus den Ausgaben. Generative KI fügt eine eigene Kategorie hinzu. NIST AI 100-2e2025 erweitert die Taxonomie um Prompt Injection (direkt und indirekt), Jailbreaks und die Kompromittierung der Lieferkette von Basismodellen. Die indirekte Injection ist besonders schwer zu steuern, weil die schädliche Anweisung in Inhalten steckt, die das Modell abruft, nicht in dem, was der Nutzer eingegeben hat. Für einen vollständigen Katalog dokumentiert MITRE ATLAS vierzehn Taktikkategorien und über achtzig Techniken gegen KI-Systeme.
Reale Beispiele adversarialer KI
Adversariale KI ist keine Laborkuriosität. Forschende haben mehrfach gezeigt, dass kleine physische Veränderungen an Verkehrsschildern die Wahrnehmungsmodelle von Fahrassistenzsystemen täuschen und ein Stoppschild in ein ignoriertes Schild verwandeln können. Die Folgen einer Evasion sind in diesem Umfeld offensichtlich. Data Poisoning hat eine ebenso lange Vorgeschichte. Öffentliche Chatbots, die aus Nutzerinteraktionen lernen, wurden binnen Stunden durch koordinierte böswillige Eingaben zu beleidigendem Verhalten gebracht, ein Beleg dafür, dass eine offene Rückkopplungsschleife eine Angriffsfläche ist. Generative KI hat das Ziel erweitert. Sicherheitsforschende offenbarten EchoLeak, eine indirekte Prompt Injection gegen Microsoft 365 Copilot, die Daten ohne ungewöhnliches Zutun des Nutzers abfließen lassen konnte, und zeigten damit, dass abrufgestützte Assistenten das Vertrauen erben, das dem gelesenen Inhalt gilt. Und es geht um Maßstab: Der CrowdStrike 2026 Global Threat Report stellt fest, dass Angreifer im Jahr 2025 legitime generative KI-Werkzeuge bei mehr als neunzig Organisationen missbrauchten. Solche Techniken gehören auf dasselbe Risikoregister wie jede andere wesentliche Bedrohung.
Warum adversariale KI ein Governance-Problem ist, nicht nur ein Sicherheitsproblem
Die meisten Beiträge enden bei den technischen Abwehrmaßnahmen. Das ist ein Fehler, denn adversariale Robustheit ist von der Empfehlung zur rechtlichen Pflicht geworden. Artikel 15 der EU-KI-Verordnung verlangt von Hochrisiko-KI ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus. Erwägungsgrund 76 benennt ausdrücklich Data Poisoning, adversariale Beispiele, Model Evasion und Vertraulichkeitsangriffe als Risiken, die Anbieter mit technischen Maßnahmen adressieren müssen. Diese Pflichten gelten ab dem 2. August 2026. Damit verschiebt sich die Frage. Es geht nicht mehr nur darum, ob ein Modell täuschbar ist, sondern ob Sie einer Prüfstelle oder Aufsichtsbehörde nachweisen können, dass Sie das Risiko erkannt, verhältnismäßige Kontrollen angewandt und deren Wirksamkeit belegt haben. Artikel 15 erwartet zudem, dass Anbieter Genauigkeits- und Robustheitsmetriken in der technischen Dokumentation angeben, der Nachweis muss also auf dem Papier stehen. In Deutschland veröffentlichen das BSI und die Datenschutzaufsicht Leitlinien, die in dieselbe Richtung zur Sicherheit und zum Datenschutz von KI-Systemen weisen. Andere Rahmenwerke zeigen dieselbe Richtung. Das NIST AI Risk Management Framework fordert, KI-Risiken fortlaufend zu messen und zu steuern, und ISO/IEC 42001 beschreibt ein KI-Managementsystem mit Kontrollen und einem Bestandsverzeichnis. Der rote Faden ist Rechenschaft: eine benannte verantwortliche Person, eine dokumentierte Kontrolle, eine wiederholbare Prüfung. Die Lücke ist real: 2025 planten rund 83 Prozent der Organisationen den Einsatz agentischer KI, doch nur etwa 29 Prozent hielten sich für sicher genug dafür.
Wie man sich gegen adversariale KI verteidigt
Wirksame Verteidigung verbindet zwei Ebenen, die viele Teams getrennt behandeln. Die technische Ebene verkleinert die Angriffsfläche des Modells. Adversariales Training setzt das Modell während der Entwicklung adversarialen Beispielen aus, damit es lernt, ihnen zu widerstehen. Vorverarbeitung und Bereinigung der Eingaben entfernen wahrscheinliche Störungen, bevor sie das Modell erreichen. Robustheitstests und Red Teaming, einschließlich der für generative Systeme dokumentierten adversarialen Tests, prüfen das Modell wie ein Angreifer. Anomalieüberwachung beobachtet Live-Eingaben und Konfidenzwerte, und strenge Zugriffskontrolle begrenzt, wer das Modell abfragen oder feinjustieren darf. Die Governance-Ebene entscheidet, ob diese Kontrollen tatsächlich angewandt, belegt und gepflegt werden. Die Kontroll-Zuordnung von AI Sigil formuliert jedes Risiko als Prävention, Erkennung und Reaktion. Für adversariale Eingaben heißt das Prävention durch adversariales Training und Red Teaming, Erkennung durch Anomalie- und Konfidenzmonitore, Reaktion durch Alarme, Eindämmung und Modell-Patches. Verknüpft man diese Schritte mit den Gegenmaßnahmen aus NIST AI 100-2e2025 und den Techniken von MITRE ATLAS, wird aus einer Bedrohungsliste ein prüfbarer Kontrollsatz in Ihrer Governance-Plattform. Ein einzelnes Werkzeug löst das nicht: Robustheit muss wie jede andere Kontrolle verantwortet und überprüft werden.
Adversariale KI in Ihr Governance-Programm einbauen
Praktisch bedeutet das, adversarialer KI einen Platz im Betriebsmodell zu geben statt einer Erwähnung auf einer Folie. Nehmen Sie das adversariale Risiko ins KI-Risikoregister auf und bewerten Sie es nach der Kritikalität jedes Systems, sodass ein Betrugs- oder Triage-Modell mehr Prüfung erhält als ein interner Chatbot. Benennen Sie eine einzige rechenschaftspflichtige Person und hängen Sie die Präventions-, Erkennungs- und Reaktionskontrollen daran, mit den Tests, die jedes System bestehen muss. Erfassen Sie die Nachweise laufend: Ergebnisse adversarialer Tests, Robustheitsmetriken, Überwachungsprotokolle und Vorfälle, genau die Dokumentation, die Artikel 15 erwartet. Legen Sie schließlich einen Prüfzyklus fest, denn ein zum Start robustes Modell driftet, und neue Angriffstechniken tauchen ständig auf. Hier zeigt ein KI-Managementsystem seinen Wert. Das in Tabellen über Dutzende Modelle hinweg zu tun, skaliert nicht und lässt Lücken, die eine Prüfstelle findet. Eine Plattform, die Inventar, Risiken, Kontrollen und Nachweise in einer verbundenen Struktur hält, erlaubt es, auf Anfrage zu zeigen, dass adversariale KI gesteuert und nicht nur bemerkt wird.
Häufige Fragen
Was ist adversariale KI? Adversariale KI ist die gezielte Manipulation eines Machine-Learning-Modells, damit es scheitert oder sich zugunsten eines Angreifers verhält. Dieser fertigt Eingaben, vergiftet Daten oder missbraucht Prompts, sodass das Modell falsch klassifiziert, Informationen preisgibt oder schädliche Ausgaben erzeugt, meist ohne sichtbares Zeichen für einen menschlichen Beobachter. Was ist ein adversariales Beispiel? Ein adversariales Beispiel ist eine Eingabe, die gerade so weit verändert wurde, dass sie ein Modell täuscht und für Menschen dennoch normal aussieht. Ein Foto mit leicht veränderten Pixeln oder ein Stoppschild mit kleinen Aufklebern kann ein sehr genaues Modell zu einer falschen Antwort bringen. Das ist die klassische Form eines Evasion-Angriffs. Worin unterscheidet sich ein Poisoning-Angriff von einer Evasion? Der Zeitpunkt macht den Unterschied. Poisoning verdirbt die Trainingsdaten oder das Modell während seiner Entstehung und pflanzt einen Fehler ein, der mit dem fertigen Modell ausgeliefert wird. Evasion lässt das Modell unangetastet und manipuliert stattdessen eine Live-Eingabe, um eine Fehlklassifikation auszulösen. Lassen sich adversariale Angriffe vollständig verhindern? Nein. Keine einzelne Kontrolle beseitigt das adversariale Risiko, weil Abwehr und Angriff sich gemeinsam weiterentwickeln. Realistisch ist, die Kosten zu erhöhen und die Wirkung zu senken, durch gestaffelte Kontrollen, adversariales Training, Überwachung, Red Teaming und einen Governance-Prozess, der Vorfälle erkennt, behandelt und daraus lernt. Fällt adversariale KI unter die EU-KI-Verordnung? Ja. Artikel 15 verlangt von Hochrisiko-KI Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus, und Erwägungsgrund 76 benennt ausdrücklich Data Poisoning, adversariale Beispiele und Model Evasion. Diese Pflichten gelten ab dem 2. August 2026. Was ist der Unterschied zwischen adversarialer KI und adversarialem Machine Learning? Im Alltag keiner. Adversariales Machine Learning ist der Fachbegriff des Forschungsfeldes, adversariale KI die breitere Bezeichnung im Geschäfts- und Sicherheitskontext. Beide meinen Angriffe, die ausnutzen, wie Modelle lernen und vorhersagen.
Fazit
Adversariale KI ist der Punkt, an dem Cybersicherheit auf KI-Governance trifft. Die Angriffsfamilien, Evasion, Poisoning, Extraktion und Prompt Injection, sind gut dokumentiert, und die technischen Abwehrmaßnahmen sind bekannt. Was gefährdete von widerstandsfähigen Organisationen trennt, ist die Steuerung des Risikos: verantwortet von jemandem, gestützt auf Kontrollen, belegt für eine Prüfstelle. Mit Artikel 15 der EU-KI-Verordnung ab August 2026 ist das ebenso eine Compliance- wie eine Sicherheitsanforderung. Behandeln Sie adversariale KI als gesteuertes Risiko in Ihrer KI-Governance-Plattform, und aus einer beweglichen Bedrohung wird ein beherrschtes Risiko.