Ein Weckruf zur Governance von Multi-Agenten-AI-Interaktionen
In diesem Monat hat die italienische Reederei Grimaldi Group ihr neues 9.000-Einheiten-Schiff, die Grande Tianjin, auf ihrer Jungfernfahrt vorgestellt, auf der sie Elektrofahrzeuge von China nach Europa transportiert. Auf dem Weg wird es durch verschiedene Jurisdiktionen reisen, zwischen konkurrierenden Nationen navigieren und seinen Kurs basierend auf den verfolgten Routen anderer Schiffe anpassen. Die reibungslose Durchführung einer solchen Reise hängt von einem gut funktionierenden Netzwerk aus Rechtsrahmen, Infrastruktur und Überwachung ab.
Nun ersetzen wir ein maritimes Fahrzeug durch ein AI-Agenten-System. Diese Systeme sind in der Lage, Entscheidungen in einer viel komplexeren Umgebung als auf dem Meer zu treffen. Sie können mit anderen AI-Systemen interagieren, um ihre Ziele zu erreichen und dabei unprecedented risks zu erzeugen. Während dieses komplexe Szenario bereits im Gange ist, gibt es extrem begrenzte Governance-Rahmenbedingungen, um sicherzustellen, dass diese AI-Interaktionen sicher bleiben.
Risiken von Multi-Agenten-AI-Systemen
Unternehmen entwickeln AI-Agenten, die in der Lage sind, in komplexen Umgebungen zu agieren und Ziele mit minimalen Anweisungen oder Überwachung zu verfolgen. Obwohl die Agentenfähigkeiten von GPT-5 mit Skepsis betrachtet werden, gibt es einen starken Marktanreiz, diese Systeme weiterzuentwickeln. In Großbritannien hat OpenAI eine Partnerschaft mit der Regierung angekündigt, während Palantir mit dem NHS kooperiert. In Europa surft Anthropic mit dem speziell entwickelten ArchiBot in den Archiven des Europäischen Parlaments.
Da sowohl der private als auch der öffentliche Sektor die Einführung beschleunigen und ausweiten, um ihren kommerziellen Wert zu ernten, müssen AI-Agenten miteinander kommunizieren und interagieren, um ihre Aufgaben zu erfüllen, was zu Multi-Agenten-AI-Systemen führt. Es gibt bereits besorgniserregende Szenarien, die die potenziellen Fehlfunktionen aufzeigen, die aus diesen Interaktionen resultieren können:
- AI-Systeme, die den deutschen Einzelhandelsmarkt für Benzin steuern, haben gezeigt, dass sie zu Kollusionen auf Kosten der Kunden neigen.
- AI-Systeme, die an simulierten Ressourcenteilungsszenarien beteiligt sind, haben die Ressourcendepletion beschleunigt.
- AI-gesteuerte fahrerlose Fahrzeuge, die gültige Strategien zur Sicherheit der Passagiere verfolgen, können scheitern, wenn ihre Strategien inkompatibel sind.
Obwohl AI-Agenten autonom operieren können, ist ihr Verständnis des Kontextes und der Konsequenzen ihrer Handlungen begrenzt. Weiterhin werden die grundlegenden Modelle, auf denen AI-Agenten basieren, nicht mit Blick auf die Risiken von Multi-Agenten entwickelt und haben nicht die erforderliche kooperative Intelligenz, um sicher zu interagieren.
Infrastruktur und Standards für sichere AI-Zusammenarbeit
Obwohl der EU-Kodex willkommen ist und Sicherheitsverpflichtungen an den verbindlichen AI-Gesetzentwurf bindet, ist er nur ein Teil eines größeren Puzzles. Auch die JCT21 CEN CENELEC wird an Standards arbeiten, um den Kodex bis 2027 zu ersetzen. Zudem beginnen AI-Sicherheitsinstitute damit, Methoden zur Evaluierung der agentischen Fähigkeiten und Multi-Agenten-AI-Interaktionen zu entwickeln.
Lehren aus der maritimen Governance
Obwohl sie einfacher ist als die komplexe Natur von Multi-Agenten-AI-Systemen, kann der maritime Sektor einige inspirierende Richtlinien bieten, wie man die richtige Governance und Infrastruktur für AI-Agenten aufbauen kann:
- Unsichtbares sichtbar machen: In der maritimen Industrie ermöglichen automatisierte Identifikationssysteme (AIS) die Verfolgung des Standorts, der Geschwindigkeit, des Eigentums, der Ziele und der vergangenen Routen eines Schiffes. AI-Agenten, von denen die meisten derzeit virtuell unsichtbar sind, sollten entdeckbar und transparent werden.
- Was kann uns die maritime Industrie über Governance lehren? Maritime Gesetze, verankert in Rahmenwerken wie dem UN-Seerechtsübereinkommen, setzen Verpflichtungen für bilaterale, regionale und internationale Zusammenarbeit fest. Im Kontext von AI könnte der AI-Vertrag des Europarats ein guter Ausgangspunkt sein, um rechtliche Vereinbarungen zu etablieren.
- Sollten wir eine dezentrale, kooperative Infrastruktur aufbauen? Ähnlich wie maritime Systeme auf Kommunikation, Koordination und Konfliktlösungsmechanismen angewiesen sind, benötigen AI-Agenten ähnliche Rahmenbedingungen.
Die beschleunigte Einführung von AI unter Marktpressionen produziert ein Netzwerk von Interaktionen und Ergebnissen von beispielloser Komplexität. Um diese zu adressieren, ist es notwendig, die technischen Aspekte der grundlegenden AI-Modelle zu evaluieren. Ohne zeitnahe Investitionen in Governance werden diese Risiken und Ergebnisse sowohl unvorhersehbar als auch schwer zu überwachen sein.
Wir würden es nicht zulassen, dass Schiffe navigieren oder Flugzeuge abheben, ohne Sichtbarkeit, Koordination oder Konfliktvermeidungsprotokolle. Und doch stehen wir kurz davor, dies mit fortschrittlichen (und derzeit fehleranfälligen) AI-Systemen zu tun.
Angesichts der fehlenden Regulierung im Vereinigten Königreich und der unklaren Situation in den USA kann Europa den Weg für eine verantwortungsvolle Einführung von Multi-Agenten-AI ebnen, indem es Governance- und Infrastrukturmaßnahmen einrichtet, denen die Welt folgen kann.
