Von Datenvergiftung zu KI-Agenten: Die nächste Welle von Cyber-Bedrohungen
Wie Makler ihren Kunden helfen können, Cyber-Risiken im Zusammenhang mit generativer KI zu bewältigen
Künstliche Intelligenz (KI)-Tools verbreiten sich schnell in verschiedenen Branchen und bieten Organisationen neue Werkzeuge für Effizienz, Einblicke und Wachstum. Doch mit der beschleunigten Akzeptanz steigt auch die Exposition gegenüber Cyber-Risiken.
Während KI die Verteidigung stärken kann, nutzen Cyberkriminelle ebenfalls ihre Möglichkeiten. Der World Economic Forum berichtete von einem Anstieg der generativen KI-Anwendungen im Darknet um 223% zwischen 2023 und 2024. Eine Umfrage des Cybersecurity-Trainingsunternehmens SoSafe ergab, dass 87% der Sicherheitsfachleute in diesem Jahr einen KI-gestützten Angriff auf ihr Unternehmen erlebt haben.
Adversarial Machine Learning: Angriffe auf KI-Modelle
Ein großes Anliegen ist das adversarial machine learning, eine Familie von Cyberangriffen, die auf KI-Modelle in verschiedenen Entwicklungsphasen abzielt. Diese Angriffe beinhalten Datenvergiftungsangriffe und Privatsphärenangriffe.
Datenvergiftungsangriffe
Datenvergiftung bezieht sich auf Versuche, die Ausgaben eines KI-Modells zu stören, indem die Daten, die zu seiner Schulung verwendet werden, manipuliert werden. Vergiftung kann aktiv erfolgen, wenn ein Hacker oder Insider korrupte Dateien in einen Trainingsdatensatz einfügt, oder passiv, wenn vergiftete Daten unwissentlich integriert werden.
Ein Beispiel aus dem Jahr 2023 zeigt, dass Forscher ein Werkzeug entwickelten, um winzige Mengen korrupter Daten in digitale Kunstwerke einzubetten. Diese Dateien sind mit dem bloßen Auge unsichtbar und für automatisierte Werkzeuge schwer zu erkennen. Wenn sie gesammelt und im KI-Training verwendet werden, könnten sie die Ausgaben eines Modells beeinträchtigen.
Die Bedrohung ist nicht nur wirksam, sondern auch kostengünstig. Forscher zeigten letztes Jahr, dass sie 0,01% eines beliebten Trainingsdatensatzes für nur 60$ vergiften konnten.
Besonders systemisch wird die Vergiftung durch zwei Merkmale:
- Verwundbarkeit über Modelltypen hinweg – Modelle für natürliche Sprachverarbeitung, maschinelles Sehen und generative KI können alle kompromittiert werden.
- Konzentration der Trainingsdaten – Obwohl Hunderte von Tausenden von Datensätzen existieren, verlassen sich die meisten Entwickler auf einen relativ kleinen Pool. Das gezielte Angreifen dieser Datensätze kann daher eine Vielzahl von KI-Modellen gefährden.
Federated Learning, bei dem mehrere Organisationen gemeinsam ein Modell trainieren, während sie die Kontrolle über ihre eigenen Daten behalten, birgt ebenfalls Risiken, denn wenn auch nur ein Teilnehmer kompromittiert wird, kann das gemeinsame Modell korrupt werden.
Privatsphärenangriffe
Privatsphärenangriffe hingegen zielen auf bereits trainierte und bereitgestellte Modelle ab. Diese Angriffe können sensible Daten extrahieren, Details darüber offenbaren, wie ein Modell funktioniert, oder sogar das Modell selbst replizieren.
Die Risiken sind erheblich, da KI-Modelle häufig personenbezogene Daten, geistiges Eigentum und Geschäftsgeheimnisse enthalten. Ein Beispiel für Datenleck ist der Vorfall aus dem Jahr 2023, bei dem ein Transkriptionstool versehentlich vertrauliche Besprechungsnotizen an die falschen Teilnehmer verteilte. Es wurde nicht gehackt – es war einfach ein Fehler.
Menschliche Fehltritte sind ein weiterer Schwachpunkt. Ein weit verbreitetes Beispiel betraf einen Technologieangestellten, der proprietären Quellcode in einen öffentlichen Chatbot hochlud. Dieser Vorfall sorgte für Schlagzeilen und verunsicherte viele CIOs.
Die Unternehmensführung bleibt jedoch ungleichmäßig. Laut einer Umfrage von IBM haben nur 37% der Organisationen eine Governance im Zusammenhang mit der Nutzung von KI. „Wir sollten also in Zukunft mit mehr Schlagzeilen über Datenleckagen rechnen“, warnte Scoblete.
Wie der Aufstieg von KI-Agenten Cyber-Risiken antreibt
Die dritte Risiko-Kategorie sind KI-Agenten, auch bekannt als agentische KI. Diese Systeme erweitern die Fähigkeiten von großen Sprachmodellen, indem sie ihnen erlauben, autonom zu operieren.
„Denken Sie daran, es ist wie eine weitergehende Automatisierung von Prozessen“, erklärte Scoblete. „Statt nur sich wiederholende Aufgaben zu automatisieren, sind Agenten so konzipiert, dass sie in weniger strukturierten Umgebungen arbeiten, natürliche Sprachaufforderungen interpretieren und mit einem hohen Grad an Autonomie handeln.“
Theoretisch können KI-Agenten im Internet surfen, über APIs auf Datensätze zugreifen, Code schreiben und ausführen, Online-Transaktionen durchführen und sogar ihre eigenen Unteragenten programmieren. Diese Autonomie bringt jedoch tiefgreifende Risiken mit sich, einschließlich Fehler und „Halluzinationen“, die zu Datenleckagen führen können.
„Je mehr Freiheit Sie einem KI-Agenten geben, desto größer ist die Wahrscheinlichkeit, dass er sensible Daten missbrauchen oder offenlegen, Geschäftssysteme stören oder von Hackern übernommen werden könnte“, sagte Scoblete. „Und weil sie menschliche Akteure nachahmen, besteht das Risiko, dass Hacker KI-Agenten imitieren oder schlimmer noch, dass Mitarbeiter einen menschlichen Hacker fälschlicherweise für einen legitimen KI-Agenten in Unternehmenssystemen halten.“
Die Risiken der KI angehen: Tipps für Makler
Mit dem Auftreten dieser Risiken werden Kunden zunehmend ihre Makler um Rat fragen, wie sie mit den Expositionen gegenüber KI umgehen können und wie die Versicherungspolicen darauf reagieren können.
Branchenspezialisten empfehlen Maklern, sich auf praktische Schritte zu konzentrieren:
- Fragen Sie nach KI-Anwendungsfällen – Ermutigen Sie die Kunden, zu kartieren, wo KI in ihrer Organisation eingesetzt wird, von Kundenservice-Chatbots bis hin zur Code-Entwicklung, um die potenziellen Expositionspunkte zu verstehen.
- Prüfen Sie Governance und Kontrollen – Nur etwa ein Drittel der Firmen berichtet von bestehenden KI-Governance-Richtlinien, so Verisk. Makler können den Kunden helfen, die Bedeutung formeller Aufsicht zu erkennen, einschließlich akzeptabler Nutzungsrichtlinien und Mitarbeiterschulungen.
- Heben Sie Risiken in der Lieferkette hervor – Viele KI-Tools hängen von Datensätzen Dritter oder Open-Source-Modellen ab. Makler sollten mit den Kunden besprechen, wie diese Anbieter überprüft werden und welche Kontrollen existieren, um Manipulationen zu überwachen.
- Überprüfen Sie die Sprache der Cyber-Policy sorgfältig – Standard-Cyber-Policies decken möglicherweise nicht explizit adversarial machine learning, KI-Agenten oder Datenleckagen ab. Makler sollten mit Underwritern zusammenarbeiten, um zu klären, ob und wie diese Risiken abgedeckt sind.
- Positionieren Sie Risikomanagement als Unterscheidungsmerkmal – Kunden, die eine starke KI-Governance, Datenhygiene und Anbieteraufsicht demonstrieren können, sind besser positioniert, um günstigere Versicherungskonditionen und Preise zu erhalten.
