FINRA hebt Aufsichtsrisiken und Anwendungsfälle für agentische KI im Finanzwesen hervor
Am 27. Januar veröffentlichte eine Aufsichtsbehörde eine Diskussion über agentische KI und beschrieb, wie Mitgliedsfirmen beginnen, mit autonomen KI-Systemen zu experimentieren, während sie die damit verbundenen Aufsichtserwägungen identifizieren.
Es wurde festgestellt, dass agentische KI, im Gegensatz zu traditionellen Automatisierungstools, über mehrere Systeme und Datenquellen mit unterschiedlichen Graden an Unabhängigkeit operieren kann. Dies wirft Fragen auf, wie bestehende Aufsichts- und Governance-Rahmenwerke auf Werkzeuge angewendet werden, die ohne kontinuierliche menschliche Eingabe agieren können.
Identifizierte Risikobereiche
Basierend auf der Risikobeobachtung und dem Austausch mit Mitgliedsfirmen wurden mehrere Risikoaspekte im Zusammenhang mit der Nutzung agentischer KI hervorgehoben:
- Risiken der Autonomie, des Umfangs und der Autorität. KI-Agenten können Aktionen ohne bedeutende menschliche Validierung initiieren oder über ihren beabsichtigten Umfang oder die Benutzerautorisierung hinaus handeln, wenn Grenzen und Genehmigungsmechanismen nicht klar definiert und durchgesetzt werden.
- Herausforderungen bei der Auditierbarkeit und Erklärbarkeit. Mehrstufige Entscheidungsprozesse können das Verhalten von Agenten schwer nachvollziehbar machen und die Überwachung, Tests und Nachbesprechungen erschweren.
- Datenverwaltung und Vertraulichkeitsrisiken. Agenten, die über Systeme und Datensätze operieren, können unbeabsichtigt sensible oder proprietäre Informationen speichern, erkunden, offenlegen oder missbrauchen.
- Modellierungsdesign und Fachwissen. Allgemein gehaltene Agenten könnten die spezialisierte Expertise fehlen, die für komplexe Finanzdienstleistungsaufgaben erforderlich ist. Schlecht gestaltete Ziele oder Verstärkungsmechanismen können zu Ergebnissen führen, die nicht mit den Interessen von Investoren oder dem Markt übereinstimmen.
- Anhaltende Risiken bei generativer KI. Vorurteile, Halluzinationen und Datenschutzbedenken bleiben bestehen und können verstärkt werden, wenn KI-Systeme mit erhöhter Autonomie arbeiten.
Praktische Umsetzung
Die Beobachtungen betonen, dass Finanzinstitute weiterhin für die Aufsicht über KI-gesteuerte Aktivitäten verantwortlich sind, auch wenn Werkzeuge mit erheblicher Autonomie agieren. Institutionen, die agentische KI in Betracht ziehen, sollten bewerten, ob bestehende Aufsicht, Eskalations-, Dokumentations- und Datenverwaltungskontrollen für Systeme, die unabhängig planen und handeln können, ausreichend sind.
