Dalla contaminazione dei dati agli agenti IA: la prossima ondata di minacce informatiche
Come i broker possono aiutare i clienti ad affrontare i rischi informatici derivanti dall’IA generativa
Gli strumenti di intelligenza artificiale (IA) si stanno diffondendo rapidamente in vari settori, offrendo alle organizzazioni nuovi strumenti per l’efficienza, l’intuizione e la crescita. Tuttavia, con l’accelerazione dell’adozione, aumenta anche l’esposizione ai rischi informatici.
Se da un lato l’IA può rafforzare le difese, dall’altro le sue capacità vengono sfruttate anche dai criminali informatici. Il World Economic Forum ha riportato un aumento del 223% delle applicazioni di IA generativa nel dark web tra il 2023 e il 2024. Nel frattempo, un sondaggio condotto dalla società di formazione sulla sicurezza SoSafe ha rivelato che l’87% dei professionisti della sicurezza ha incontrato un attacco potenziato dall’IA contro la propria azienda.
È emerso che questa tecnologia amplifica sia i rischi che le opportunità di mitigazione. Durante un recente webinar sulla cybersecurity e sull’IA, sono stati evidenziati due modi in cui i modelli di IA generativa creano nuove superfici di attacco per le organizzazioni.
Apprendimento automatico avversariale: attacchi ai modelli IA
Un’area di particolare preoccupazione è l’apprendimento automatico avversariale, una famiglia di cyber attacchi che prende di mira i modelli di IA in varie fasi del loro sviluppo. Si segnala che due forme stanno guadagnando attenzione: gli attacchi di contaminazione e gli attacchi alla privacy.
Attacchi di contaminazione
La contaminazione dei dati si riferisce ai tentativi di interferire con le uscite di un modello di IA manomettendo i dati utilizzati per addestrarlo. Questo può avvenire in modo attivo, quando un hacker o un insider inserisce file corrotti in un dataset di addestramento, o passivamente, quando i dati contaminati vengono incorporati inconsapevolmente.
Un esempio del 2023 ha dimostrato come i ricercatori possano incorporare piccole quantità di dati corrotti in opere d’arte digitali. Questi file erano invisibili ad occhio nudo e difficili da rilevare per gli strumenti automatizzati. Se raccolti e utilizzati nell’addestramento dell’IA, potrebbero degradare le uscite di un modello.
La minaccia è non solo efficace, ma anche economica. I ricercatori hanno dimostrato che possono contaminare lo 0,01% di un popolare dataset di addestramento per soli 60 dollari. Due caratteristiche rendono la contaminazione particolarmente sistemica:
- Vulnerabilità attraverso diversi tipi di modelli – I modelli di elaborazione del linguaggio naturale, i sistemi di visione artificiale e l’IA generativa possono tutti essere compromessi.
- Concentrazione dei dati di addestramento – Sebbene esistano centinaia di migliaia di dataset, la maggior parte degli sviluppatori fa affidamento su un pool relativamente ridotto. Prendere di mira questi dataset può quindi compromettere un’ampia gamma di modelli di IA.
L’apprendimento federato, in cui più organizzazioni addestrano congiuntamente un modello mantenendo la custodia dei propri dati, presenta anch’esso dei rischi, poiché se anche solo un partecipante viene compromesso, il modello condiviso può essere corrotto.
Attacchi alla privacy
Gli attacchi alla privacy, al contrario, prendono di mira i modelli già addestrati e distribuiti. Questi attacchi possono estrarre dati sensibili, rivelare dettagli su come funziona un modello o persino replicare il modello stesso. I rischi sono significativi poiché i modelli di IA spesso contengono informazioni personali identificabili, proprietà intellettuale e segreti commerciali.
È stato evidenziato anche il problema della perdita di dati, che si verifica quando i sistemi di IA espongono involontariamente informazioni sensibili o quando gli utenti umani caricano dati riservati in strumenti di IA senza adeguate protezioni. Nel 2023, uno strumento di trascrizione ha accidentalmente distribuito note di riunioni riservate ai partecipanti sbagliati. Non è stato hackerato, ma ha semplicemente commesso un errore.
Gli errori umani rappresentano un altro punto debole. Un caso ampiamente riportato ha coinvolto un dipendente tecnologico che ha caricato codice sorgente proprietario su un chatbot pubblico. Questo incidente ha fatto notizia e ha allarmato molti CIO.
Tuttavia, la governance aziendale rimane disomogenea. Secondo un sondaggio di IBM, solo il 37% delle organizzazioni ha una governance riguardo all’uso dell’IA. Pertanto, ci si aspetta di vedere più notizie sui problemi di perdita di dati in futuro.
Come l’aumento degli agenti IA guida i rischi informatici
La terza categoria di rischio è rappresentata dagli agenti IA, noti anche come IA agentica. Questi sistemi estendono le capacità dei modelli di linguaggio di grandi dimensioni consentendo loro di operare in modo autonomo.
Si può pensare a ciò come a un’automazione dei processi robotici portata molto oltre. Invece di automatizzare solo compiti ripetitivi, gli agenti sono progettati per lavorare in ambienti meno strutturati, interpretando suggerimenti in linguaggio naturale e agendo con un alto grado di autonomia.
In teoria, gli agenti IA possono navigare nel web, accedere a dataset tramite API, scrivere ed eseguire codice, condurre transazioni online e persino programmare i propri sub-agenti. Tuttavia, questa autonomia comporta rischi profondi, inclusi errori e “allucinazioni” che possono causare perdite di dati.
“Maggiore libertà si dà a un agente IA, maggiore è la probabilità che possa abusare o esporre dati sensibili, interrompere sistemi aziendali o essere dirottato da hacker,” si avverte.
Inoltre, poiché mimano attori umani, c’è il rischio che gli hacker possano impersonare agenti IA o, peggio, che i dipendenti possano scambiare un hacker umano per un legittimo agente IA all’interno dei sistemi aziendali.
Affrontare i rischi IA dei clienti: consigli per i broker
Con l’emergere di questi rischi, i clienti guarderanno sempre più ai loro broker per ricevere indicazioni su come gestire le esposizioni all’IA e come l’assicurazione possa rispondere.
Gli specialisti del settore suggeriscono ai broker di concentrarsi su passi pratici:
- Chiedere dei casi d’uso dell’IA – Incoraggiare i clienti a mappare dove viene impiegata l’IA nella loro organizzazione, dai chatbot per il servizio clienti allo sviluppo di codice, per comprendere i potenziali punti di esposizione.
- Esaminare la governance e i controlli – Solo circa un terzo delle aziende riporta di avere politiche di governance sull’IA. I broker possono aiutare i clienti a riconoscere l’importanza di una supervisione formale, comprese le politiche di utilizzo accettabile e la formazione dei dipendenti.
- Mettere in evidenza i rischi della catena di approvvigionamento – Molti strumenti di IA dipendono da dataset di terze parti o modelli open-source. I broker dovrebbero discutere con i clienti su come vengono verificati quei fornitori e quali controlli esistono per monitorare le manomissioni.
- Esaminare attentamente il linguaggio delle polizze informatiche – Le polizze informatiche standard potrebbero non affrontare esplicitamente l’apprendimento automatico avversariale, gli agenti IA o la perdita di dati. I broker dovrebbero lavorare con gli underwriter per chiarire se e come questi rischi sono coperti.
- Posizionare la gestione del rischio come un differenziatore – I clienti che possono dimostrare una buona governance dell’IA, igiene dei dati e supervisione dei fornitori sono posizionati per ricevere migliori termini e prezzi assicurativi.
