Gestione dell’opacità dei modelli AI e sfide nella gestione del rischio
I modelli di intelligenza artificiale (AI) influenzano decisioni che riguardano milioni di clienti e miliardi di dollari ogni giorno. Tuttavia, molte istituzioni finanziarie potrebbero non avere informazioni sufficienti sui loro funzionamenti per soddisfare i requisiti di conformità.
Le sfide dell’opacità
I modelli AI operano in modo fondamentalmente diverso rispetto ai modelli tradizionali. A differenza dei calcoli lineari e tracciabili, l’AI sviluppa una propria logica inferenziale che i proprietari dei modelli spesso non possono spiegare o prevedere completamente.
Rischio di dipendenza da terzi
La maggior parte delle istituzioni finanziarie tradizionali utilizza modelli fondamentali forniti da terzi piuttosto che costruire modelli proprietari internamente. Questo aggiunge un ulteriore strato di opacità, rendendo quasi impossibile la validazione e il monitoraggio tradizionali.
Implicazioni normative e di fiducia
I regolatori in tutto il mondo stanno richiedendo trasparenza e controllo nonostante queste limitazioni. L’incapacità di spiegare le decisioni dell’AI mina la fiducia dei clienti, complica la conformità e crea lacune nella governance.
Le sfide per le istituzioni finanziarie
Le istituzioni finanziarie sviluppano modelli per migliorare il processo decisionale, migliorare la reportistica finanziaria e garantire la conformità normativa. Questi modelli sono utilizzati in diverse operazioni bancarie e finanziarie, inclusi punteggi di credito, approvazione di prestiti e stress testing.
I modelli tradizionali operano in modo prevedibile e lineare, mentre alcuni modelli AI, in particolare quelli che utilizzano il deep learning, possono produrre output imprevedibili e difficili da spiegare.
La complicazione dei modelli di terzi
La maggior parte delle istituzioni finanziarie non costruisce i propri modelli AI da zero; piuttosto, si avvalgono di modelli fondamentali di grandi aziende. Questo crea una nuova dimensione di opacità, poiché le banche non solo utilizzano modelli che non possono spiegare completamente, ma anche modelli che non hanno costruito e non controllano totalmente.
Quando la gestione del rischio tradizionale fallisce
La gestione del rischio dei modelli tradizionali si basa su tre componenti: validazione iniziale, monitoraggio continuo e capacità di contestare le assunzioni del modello. I modelli AI di terzi possono interrompere tutti e tre questi aspetti.
La validazione iniziale diventa problematica quando si tratta di validare un sistema che può essere osservato solo dall’esterno. Analogamente, il monitoraggio continuo affronta sfide simili, poiché un’istituzione è soggetta agli aggiornamenti del modello fondamentale senza preavviso.
Conseguenze reali e ricerca di soluzioni
Le conseguenze vanno oltre la conformità normativa. Quando un modello genera output compresi solo da un team esterno, i rischi operativi possono aumentare. Ad esempio, i rappresentanti del servizio clienti devono spesso spiegare perché un sistema di frode ha segnalato una transazione.
Il settore sta rispondendo con vari approcci. Alcune istituzioni richiedono maggiore trasparenza dai fornitori di AI, negoziando l’accesso alla documentazione del modello e alle metriche di prestazione. Altre stanno costruendo framework di test per validare i modelli di terzi attraverso un’analisi approfondita degli input e degli output.
Cosa deve accadere ora
Le istituzioni finanziarie devono integrare meccanismi di spiegabilità e controllo nei loro percorsi AI sin dall’inizio. È necessaria una governance completa che affronti le sfide uniche dei modelli fondamentali di terzi, incluso un monitoraggio continuo e l’obbligo di trasparenza.
Se raggiunta, questa comprensione può diventare un motore strategico. Le istituzioni che possono sfruttare il potere dell’AI di terzi mantenendo un vero controllo avranno un vantaggio competitivo. Coloro che non lo faranno potrebbero affrontare gravi conseguenze se i modelli di terzi producono risultati che non possono spiegare, prevedere o difendere.
