Mitigare la nuova frontiera del rischio dell’AI: Unire la cybersecurity aziendale con la sicurezza dell’AI
Viviamo tempi entusiasmanti per l’AI. Le aziende stanno integrando le capacità dell’AI con i dati aziendali per fornire risultati migliori per dipendenti, clienti e partner. Tuttavia, man mano che le organizzazioni incorporano sempre di più l’AI nei loro sistemi, i dati e le infrastrutture diventano anche obiettivi più attraenti per i criminali informatici e altri avversari.
In particolare, l’AI generativa (gen AI) introduce nuovi rischi ampliando significativamente la superficie di attacco di un’organizzazione. Ciò significa che le aziende devono valutare attentamente le potenziali minacce, le vulnerabilità e i rischi che esse comportano per le operazioni aziendali. Implementare l’AI con una forte postura di sicurezza, in conformità con le normative e in modo più affidabile richiede più di difese improvvisate; richiede un cambiamento strategico. La sicurezza non può essere un pensiero secondario: deve essere integrata nell’intera strategia di AI.
Sicurezza dell’AI vs. Sicurezza dell’AI
La sicurezza dell’AI e la sicurezza dell’AI sono concetti correlati ma distinti. Entrambi sono necessari per ridurre i rischi, ma affrontano sfide diverse.
Sicurezza dell’AI
La sicurezza dell’AI si concentra sulla protezione della riservatezza, integrità e disponibilità dei sistemi AI. L’obiettivo è prevenire che attori malevoli attacchino o manipolino tali sistemi. Le minacce possono derivare da:
- Vulnerabilità sfruttabili nei componenti software
- Sistemi mal configurati o autenticazioni errate che consentono accessi non autorizzati ai dati sensibili
- Iniezione di prompt o “jailbreaking” del modello
In altre parole, la sicurezza dell’AI assomiglia molto alla sicurezza IT tradizionale, ma applicata a nuovi tipi di sistemi.
Sicurezza dell’AI
La sicurezza dell’AI aiuta a mantenere il comportamento previsto dei sistemi AI, mantenendoli allineati con le politiche aziendali, le normative e gli standard etici. I rischi qui non riguardano la compromissione del sistema, ma ciò che il sistema produce. I problemi di sicurezza includono:
- Lingua dannosa o tossica
- Pregiudizio o discriminazione nelle risposte
- Allucinazioni (risposte plausibili ma false)
- Raccomandazioni pericolose o fuorvianti
Un errore di sicurezza può erodere la fiducia, causare danni reputazionali e persino creare responsabilità legali o etiche.
Esempi di rischi di sicurezza e sicurezza
Sicurezza dell’AI
- Problemi di sicurezza della memoria: il software di inferenza e altri componenti del sistema AI possono essere vulnerabili a problemi di sicurezza della memoria tradizionali.
- Configurazioni insicure: il server MCP di uno strumento è esposto su Internet senza autenticazione, consentendo agli attaccanti di accedere a informazioni sensibili.
- Autenticazione o autorizzazione compromessa: è possibile accedere alla funzionalità del server MCP utilizzando il token utente anziché un token limitato specifico per il client MCP.
- Malware: attacco alla catena di fornitura in cui il codice malevolo viene aggiunto a un modello open source fidato.
Sicurezza dell’AI
- Pregiudizio: le risposte del modello discriminano un gruppo sociale basato su razza, religione, genere o altre caratteristiche personali.
- Allucinazione: il modello inventa risposte che non si basano su fatti.
- Risposte dannose: il modello fornisce risposte che possono causare danni agli utenti.
- Lingua tossica: le risposte del modello contengono contenuti offensivi o abusivi.
La nuova frontiera del rischio: Demistificare la “sicurezza”
Sebbene la sicurezza di base sia critica, i modelli di linguaggio di grandi dimensioni (LLM) introducono un ulteriore dominio di rischio: la sicurezza. A differenza dell’uso tradizionale del termine, nel contesto dell’AI la sicurezza significa affidabilità, equità e allineamento etico.
Un fallimento di sicurezza potrebbe esporre dati sensibili. Un fallimento di sicurezza potrebbe produrre raccomandazioni di assunzione pregiudizievoli, risposte tossiche in un chatbot per clienti o altri output che minano la fiducia.
Perché questo accade? Gli LLM sono addestrati a prevedere la “prossima parola” basata sui dati di addestramento, non a distinguere tra verità e false affermazioni. Inoltre, cercano di rispondere a ogni domanda, anche a quelle per cui non sono stati addestrati. Aggiungi la loro natura non deterministica, il fatto che le risposte variano anche di fronte allo stesso prompt, e ottieni risultati imprevedibili.
Questa imprevedibilità crea sfide di governance. Anche con dati di addestramento sicuri, un modello può ancora generare contenuti dannosi. Il fine-tuning può anche indebolire le protezioni integrate, a volte in modo involontario.
Gestire questi rischi richiede un nuovo insieme di strumenti:
- Pre-addestramento e allineamento focalizzati sulla sicurezza
- Valutazione continua e benchmarking dei risultati di sicurezza
- “Supporti di valutazione LLM” per misurare la probabilità di output dannosi, così comuni quanto il testing delle prestazioni
La chiave è riconoscere che un output dannoso è solitamente un problema di sicurezza, non un difetto di sicurezza tradizionale.
Il modello AI dovrebbe ricevere tutta l’attenzione?
I modelli AI spesso attraggono l’attenzione, ma sono solo un componente di un sistema AI più ampio. Infatti, i componenti non AI (server, API, layer di orchestrazione) spesso costituiscono la maggior parte del sistema e portano i loro rischi.
L’approccio corretto è una strategia di difesa a più livelli: rafforzare le pratiche di sicurezza aziendale esistenti e poi aggiungere protezioni aggiuntive per i nuovi rischi introdotti dall’AI generativa.
Unire la sicurezza dell’AI con la cybersecurity aziendale
La sicurezza dell’AI non riguarda il reinvenire la ruota. Gli stessi principi che sostengono la sicurezza aziendale tradizionale si applicano qui. Infatti, i tuoi investimenti esistenti nella cybersecurity sono la base della tua postura di sicurezza dell’AI.
La sicurezza riguarda la gestione del rischio: ridurre la possibilità che una minaccia si materializzi e minimizzare il suo impatto se lo fa. Ciò significa:
- Modellazione del rischio per identificare e dare priorità ai rischi legati all’AI
- Test di penetrazione per misurare la robustezza
- Monitoraggio continuo per rilevare e rispondere agli incidenti
Il classico triade CIA (Riservatezza, Integrità, Disponibilità) si applica ancora, sia che il sistema sia alimentato dall’AI o meno. Per rafforzare la sicurezza dell’AI, le aziende dovrebbero estendere pratiche comprovate, tra cui:
- Ciclo di vita dello sviluppo software sicuro (SDLC): integrare la sicurezza in ogni fase. Framework come il Red Hat SDLC garantiscono che la sicurezza faccia parte dell’intero processo di sviluppo, non qualcosa che viene aggiunto successivamente.
- Catena di fornitura sicura: verificare ogni modello, libreria e container per proteggere contro vulnerabilità o codice malevolo.
- Strumenti SIEM (Gestione delle informazioni e degli eventi di sicurezza) e SOAR (Automazione e risposta della sicurezza): monitorare input, stress di sistema e possibile estrazione di dati.
Le aziende dovrebbero anche integrare il rischio dell’AI nei framework di governance esistenti, come un Sistema di Gestione della Sicurezza delle Informazioni (ISMS), piuttosto che creare programmi autonomi per l’AI. Trattando la sicurezza dell’AI come un’estensione della tua postura esistente, puoi sfruttare le stesse competenze, strumenti e processi per coprire la maggior parte dei rischi in modo più efficace.
Proseguendo
In breve, le aziende dovrebbero adottare un approccio olistico alla sicurezza e alla sicurezza dell’AI. I framework evidenziano la necessità di una gestione integrata del rischio, combinando sicurezza, governance e conformità con salvaguardie specifiche per l’AI.
La conclusione è che l’AI offre enormi opportunità, ma anche rischi unici. Unendo la sicurezza dell’AI con le tue pratiche di cybersecurity consolidate e aggiungendo misure di sicurezza, le aziende possono costruire sistemi più affidabili che offrono valore commerciale.
La sicurezza e la sicurezza dell’AI sono due facce della stessa medaglia: una si concentra sulla protezione dei sistemi dagli attacchi, l’altra sul rafforzamento del comportamento responsabile e affidabile. Le aziende che trattano la sicurezza e la sicurezza dell’AI come parte integrante della loro strategia di gestione del rischio saranno le meglio posizionate per sbloccare il valore commerciale dell’AI mantenendo la fiducia di clienti, dipendenti e regolatori.
