Wer wird der erste CIO sein, der wegen der Unordnung durch KI-Agenten gefeuert wird?
Unzureichende Kontrollen und Governance von KI-Agenten werden laut einer Prognose eines IT-Analystenunternehmens in den nächsten vier Jahren zu einer Vielzahl von Klagen, regulatorischen Geldstrafen und Entlassungen von CIOs führen.
Bis zu 20 % der 1.000 größten Unternehmen könnten bis 2030 mit einem dieser Szenarien konfrontiert sein, aufgrund von hochkarätigen Geschäftsunterbrechungen, die durch fehlerhafte KI-Agenten verursacht werden.
Herausforderungen der KI-Governance
IT- und Geschäftsleiter in vielen Unternehmen geben an, dass sie sich noch auf dem Weg zu einer guten Governance der Agenten befinden, während die Ergebnisse der Agenten immer noch viel zu unvorhersehbar sind. Berichte über KI-Chatbots, die nicht einvernehmliche und sexuelle Deepfake-Bilder erzeugen, zeigen das Chaos, das KI ohne angemessene Sicherheitsvorkehrungen anrichten kann. In vielen Organisationen wird KI aus Angst, etwas zu verpassen, schnell implementiert. Eine gute Governance der Agenten erfordert jedoch einen durchdachten Ansatz, und CIOs müssen alle Risiken berücksichtigen, wenn sie Agenten zur Automatisierung von zuvor von Menschen durchgeführten Aufgaben zuweisen.
Regulatorische Risiken und rechtliche Konsequenzen
In den kommenden Jahren werden regulatorische Geldstrafen und große Vergleichszahlungen als die wahrscheinlichsten Szenarien erwartet. Die Europäische Union wird aktiv Geldstrafen gegen Unternehmen verhängen, die Datenschutzgesetze und andere Vorschriften verletzen. Auch einige US-Bundesstaaten könnten KI-Vorschriften erlassen.
Handlungen von Agenten könnten auch gegen US-Gesetze wie das Gesetz über die Portabilität und Verantwortlichkeit von Krankenversicherungen verstoßen. Experten schätzen, dass Klagen und Geldstrafen realistisch erscheinen, und Kläger benötigen keine neuen KI-Gesetze, um Ansprüche geltend zu machen. Wenn ein KI-Agent finanziellen Schaden oder Verbraucherschäden verursacht, gelten bereits bestehende rechtliche Theorien.
Die Rolle der CIOs
CIOs müssen proaktiv in Bezug auf die Governance von Agenten sein. Sie sollten sicherstellen, dass sensible Aktionen nachweisbar sind und jede Aktion zurückverfolgt werden kann. Es ist auch wichtig, Menschen in kritische Aufgaben der Agenten einzubeziehen und zusätzliche Hindernisse für hochriskante Aktionen zu schaffen. CIOs sollten ihre Governance-Prozesse so sichtbar wie möglich gestalten; im Falle eines Vorfalls könnte ein CIO, der klare Kontrollen und Protokolle vorweisen kann, besser verteidigt werden als einer, der nur sagen kann, dass das System es getan hat.
Fazit
Die Einführung von KI-Agenten wird bewährte Praktiken verstärken, die einige Unternehmen bereits befolgen, während andere erkennen werden, dass praktische Sicherheitsvorkehrungen etabliert werden müssen, bevor agentische KI in großem Maßstab eingeführt wird. CIOs spielen eine entscheidende Rolle dabei, die notwendigen Sicherheitsvorkehrungen zu definieren und zu implementieren, um unerwünschte Ergebnisse zu vermeiden.
