Rischi di Supervisione e Casi d’Uso per l’AI Agentica nei Servizi Finanziari
Il 27 gennaio, è stata rilasciata una discussione sull’AI agentica, descrivendo come le aziende membri stanno iniziando a sperimentare con sistemi AI autonomi e identificando le considerazioni di supervisione associate a tali implementazioni iniziali.
Si è osservato che, a differenza degli strumenti di automazione tradizionali, gli agenti AI possono operare attraverso più sistemi e fonti di dati con vari livelli di indipendenza, sollevando interrogativi su come i quadri di supervisione e governance esistenti si applichino a strumenti che possono agire senza un continuo input umano.
Aree di Rischio Identificate
Basandosi sul monitoraggio dei rischi e sull’impegno con le aziende membri, sono state identificate diverse aree di rischio associate all’uso dell’AI agentica. I principali rischi evidenziati includono:
- Rischi di autonomia, ambito e autorità. Gli agenti AI possono iniziare azioni senza una valida convalida umana o agire oltre il loro ambito previsto o l’autorità dell’utente se i confini e i meccanismi di approvazione non sono chiaramente definiti e applicati.
- Problemi di auditabilità e spiegabilità. I processi di ragionamento e decisione a più fasi possono rendere difficile tracciare, spiegare o ricostruire il comportamento degli agenti, complicando la supervisione, i test e le revisioni post-incidente.
- Rischi di governance dei dati e riservatezza. Gli agenti che operano attraverso sistemi e dataset possono involontariamente memorizzare, esplorare, divulgare o abusare di informazioni riservate o proprietarie.
- Limitazioni nella progettazione dei modelli e conoscenza del dominio. Gli agenti a uso generale possono mancare dell’expertise specializzata necessaria per compiti complessi nei servizi finanziari, e obiettivi o meccanismi di rinforzo mal progettati possono portare a risultati non allineati con gli interessi degli investitori o del mercato.
- Rischi persistenti legati all’AI generativa. Bias, allucinazioni e preoccupazioni sulla privacy rimangono presenti e possono essere amplificati quando i sistemi AI operano con maggiore autonomia.
Implicazioni Pratiche
Le osservazioni reiterano che le istituzioni finanziarie rimangono responsabili della supervisione delle attività guidate dall’AI, anche quando gli strumenti operano con significativa autonomia e senza nuovi requisiti tecnologici specifici. Le istituzioni che considerano l’AI agentica dovrebbero valutare se i controlli esistenti di supervisione, escalation, documentazione e governance dei dati siano sufficienti per sistemi che possono pianificare e agire in modo indipendente.
