Chi sarà il primo CIO licenziato per i danni causati dagli agenti AI?
Controlli e governance inadeguati degli agenti AI porteranno a un numero elevato di cause legali, multe normative e licenziamenti di CIO nei prossimi quattro anni, secondo le previsioni di un’agenzia di analisi IT.
Proiezioni e rischi
Fino al 20% delle 1.000 aziende più grandi dovrà affrontare una di queste tre situazioni entro il 2030 a causa di interruzioni aziendali di alto profilo causate da agenti AI malfunzionanti. I leader IT e aziendali affermano che stanno ancora cercando di capire come governare efficacemente gli agenti, mentre i risultati degli agenti rimangono troppo imprevedibili.
Recenti segnalazioni di chatbot AI che generano immagini deepfake non consensuali evidenziano i danni che l’AI può causare senza le giuste protezioni. Con l’implementazione di team di agenti che operano in modo sinergico, c’è il rischio che un errore di un agente si amplifichi quando altri agenti agiscono su un risultato errato.
Governance degli agenti
Molte organizzazioni hanno fretta di implementare agenti AI per la paura di perdere opportunità. Tuttavia, una buona governance richiede un approccio ponderato, e i CIO devono considerare tutti i rischi mentre assegnano agenti per automatizzare compiti precedentemente svolti da dipendenti umani.
Le multe normative e i grandi risarcimenti legali sono i risultati più probabili previsti. Le normative europee saranno attive nel comminare multe alle aziende che violano le leggi sulla privacy, e alcuni stati americani potrebbero anche approvare regolamenti sull’AI.
Le azioni intraprese dagli agenti potrebbero anche violare leggi statunitensi come l’HIPAA, che protegge la privacy medica.
Le conseguenze legali
Esperti IT e legali ritengono che le previsioni siano realistiche. Le cause e le multe sembrano probabili, e i querelanti non avranno bisogno di nuove leggi sull’AI per presentare reclami. I regolatori possono agire non appena l’AI prende decisioni al di fuori di qualsiasi forma di conformità e soglia di sicurezza.
Le organizzazioni che mancano di governance e controlli solidi faticheranno in un ambiente agentico. Gli stessi principi di responsabilità e chiarezza di responsabilità che avrebbero dovuto governare le aziende prima dell’arrivo dei sistemi agentici sono ancora applicabili.
Ruolo dei CIO
I CIO giocheranno un ruolo cruciale nel definire le protezioni necessarie. Quando le azioni legali raggiungono il pubblico, i consigli di amministrazione vogliono risposte concrete. Se la spiegazione è “il sistema l’ha fatto”, raramente soddisfa il consiglio. I CIO saranno sempre più attesi a spiegare quali governance e protezioni hanno implementato per evitare risultati indesiderati.
È importante che i CIO siano proattivi nella governance degli agenti, richiedano prove per azioni sensibili e rendano ogni azione tracciabile. Possono anche includere esseri umani per compiti ad alto rischio e progettare agenti che possano trasferire azioni quando la situazione è ambigua.
Conclusione
I CIO devono trattare la governance degli agenti come una pratica di leadership, non come un pensiero tecnico successivo. Investire nella formazione del personale per supervisionare e migliorare gli agenti è cruciale. I CIO che possono mostrare controlli chiari e registri di audit saranno molto più difendibili rispetto a quelli che non possono spiegare le azioni di un modello che ha causato problemi.
