#Infosec2025: Wachsendes Risiko von Agentic AI für die Sicherheit
Agentic AI und KI-Tools, die ohne menschliche Aufsicht miteinander verbunden sind, stellen laut Experten bei Infosecurity Europe ein zunehmendes Sicherheitsrisiko dar.
Was ist Agentic AI?
Agentic AI, oder KI-Agenten, operieren mit einem hohen Maß an Autonomie. Ein agentisches System könnte das KI-Modell auswählen, das es verwendet, Daten oder Ergebnisse an ein anderes KI-Tool weitergeben oder sogar Entscheidungen ohne menschliche Genehmigung treffen.
Agentic AI-Systeme arbeiten schneller als frühere Generationen von Systemen, die auf großen Sprachmodellen (LLMs) basieren, da sie ohne menschliche Anweisungen oder Eingaben funktionieren. Sie können auch lernen und die Modelle sowie die Eingaben, die sie verwenden, anpassen.
Risiken der Kettenbildung
Schwierigkeiten können jedoch auftreten, wenn Organisationen KI-Komponenten wie generative KI-Tools oder Chatbots ohne zusätzliche Prüfungen miteinander verknüpfen oder Agenten autonome Entscheidungen treffen lassen. Dies geschieht bereits in der IT, beispielsweise beim Schreiben von Code und der Konfiguration von Systemen.
Dies erhöht das Risiko, dass die KI-Implementierungen der Organisationen schneller voranschreiten als die Sicherheitskontrollen.
Forschungsbefunde
Laut einer Studie des Beratungsunternehmens EY geben nur 31 % der Unternehmen an, dass ihre KI-Implementierung vollständig ausgereift ist. Darüber hinaus zeigt die Studie, dass die KI-Governance in Unternehmen hinter der KI-Innovation zurückbleibt.
Diese Problematik tritt besonders bei agentic AI zutage, da sie die bereits identifizierten Risiken von LLMs verstärken kann.
Gemeinsame Risiken
Agentic AI-Systeme sind denselben Risiken ausgesetzt wie ihre Vorgänger, einschließlich Prompt-Injection, Manipulation, Voreingenommenheit und Ungenauigkeiten.
Die Probleme können sich jedoch verschlimmern, wenn ein Agent ungenaue, voreingenommene oder manipulierte Daten an einen anderen weitergibt. Selbst eine relativ niedrige Fehlerquote von wenigen Prozent kann sich über Subsysteme hinweg zu einem erheblichen Fehler summieren.
Die Sicherheit wird noch weiter verschärft, wenn KI-Tools mit Datenquellen verbunden sind, die außerhalb der Kontrolle des Unternehmens liegen.
Notwendigkeit einer Sicherheitsstrategie
„Statt dass KI direkt mit Menschen spricht, kommuniziert sie mit anderen KI-Systemen“, erklärte ein Experte.
„Wir benötigen eine Zwischenschicht für KI-Sicherheit, insbesondere wenn Sie Informationen von außen sammeln oder einpflegen.“
„Je mehr wir die Technologie nutzen, desto mehr wird sie zu einem Schwachpunkt, der ausgenutzt werden kann“, fügte der Experte hinzu.
Dringlichkeit für Sicherheitsmaßnahmen
Die schnelle Entwicklung von agentic AI erfordert von den Sicherheitsteams, dass sie schnell potenzielle Sicherheitsrisiken identifizieren und melden.
Die Forschung von EY ergab, dass 76 % der Unternehmen agentic AI bereits nutzen oder dies innerhalb eines Jahres planen. Gleichzeitig gaben nur 56 % an, dass sie moderat oder vollständig mit den Risiken vertraut sind.
„Die KI-Implementierung unterscheidet sich erheblich von der Einführung früherer Technologien“, erklärte ein führender Experte.
„Es ist kein einmaliger Prozess, sondern eine Reise, bei der Ihre KI-Governance und -Kontrollen mit den Investitionen in die KI-Funktionalität Schritt halten müssen.“
Risiken und Herausforderungen
Laut einem Direktor für Sicherheit bei Snyk zwingt die rasche Einführung von agentic AI Organisationen dazu, ihre Kontrollen und Richtlinien zu verschärfen und zu prüfen, ob agentische Systeme ihre Angriffsfläche vergrößern.
„Agentic AI ist nicht mehr nur im Labor“, bemerkte er.
Die Code-Entwicklung ist ein Bereich, in dem Agenten eingesetzt werden.
„Wenn Agenten Code schreiben, muss dieser sicher sein“, warnte er.
„Sie müssen den von Agenten generierten Code testen und ihnen die richtigen Schutzmaßnahmen bieten.“
Entwickler verwenden agentic AI, weil sie die Codeproduktion beschleunigt. In anderen Unternehmen verbessern Agenten den Kundenservice und die Automatisierung.
Frühere Generationen von Kundenservicerobotern mussten oft an menschliche Agenten übergeben werden, wenn sie keine Antworten mehr hatten. Agentic AI-Systeme hingegen können Probleme selbst beheben.
„KI-Agenten verändern rasch, wie Unternehmen mit Kunden interagieren, Betriebsabläufe automatisieren und Dienstleistungen bereitstellen“, sagte ein Cybersecurity-Strategieexperte.
Doch dies hängt sowohl von den Entwicklern der KI-Tools als auch von den IT-Teams ab, die dafür sorgen müssen, dass die APIs, die die KI-Tools miteinander verbinden, ebenfalls sicher sind.
„Diese Schnittstellen sind nicht nur technische Verbindungen, sie bieten die lebenswichtigen Verbindungen, über die KI-Agenten auf Daten zugreifen, Aufgaben ausführen und plattformübergreifend integriert werden. Ohne robuste API-Sicherheit wird selbst die fortschrittlichste KI zu einer Schwachstelle anstatt zu einem Vermögenswert“, erklärte er.
Wie gewarnt wurde, kommt das Risiko bei agentic AI-Systemen nicht nur von den Komponenten selbst, sondern auch von der Verwendung dieser Komponenten zusammen – „Das Sicherheitsrisiko liegt in den Lücken.“
Es wird empfohlen, AI Red Teaming durchzuführen, um zu testen, ob die KI-Implementierungen sicher sind, sowie Werkzeuge wie AI Bills of Materials zu verwenden, um zu überprüfen, welche Technologien wo eingesetzt werden, und die Verbindungen und Übergaben zwischen KI-Agenten zu dokumentieren.
„CISOs haben keine Sichtbarkeit“, wurde festgestellt.
„Deshalb haben wir AI Bills of Materials entwickelt, die es Ihnen ermöglichen, die Modelle und Datensätze, die Sie verwenden, sowie die Abhängigkeiten in Ihrem Code und Ihren Anwendungen zu sehen.“
