Prompt Injection: Attacchi di Ingegneria Sociale su AI
Gli attuali modelli di intelligenza artificiale soffrono di una grave falla. Mancano del giudizio umano e del contesto che li rendono vulnerabili a quelli che i ricercatori di sicurezza definiscono “attacchi di iniezione di prompt”. Ma cosa sono gli attacchi di iniezione di prompt? In parole semplici, si tratta di indurre un’IA a fare qualcosa tramite comandi che non è progettata per eseguire o che dovrebbe essere bloccata dal fare.
In questo senso, è simile a tutti gli altri tipi di hacking… l’hacking consiste fondamentalmente nel cercare di far funzionare qualcosa (sia software che hardware) in un modo non previsto. Mentre testare software e hardware tradizionali per vulnerabilità di sicurezza è già una sfida difficile, testare i modelli di linguaggio di grandi dimensioni (LLM) dell’IA è particolarmente complesso, poiché questi ultimi hanno a disposizione praticamente tutte le costruzioni linguistiche come input, presentando una superficie di attacco praticamente infinita per gli attacchi di iniezione di prompt.
Le sfide degli LLM
Al centro del problema c’è il fatto che i modelli LLM dell’IA mancano delle difese che gli esseri umani sviluppano nel tempo, che generalmente attribuiamo alle esperienze di vita. Queste esperienze ci permettono di interpretare tono, motivo e rischio per determinare le nostre azioni successive. Gli LLM, in contrasto, sono progettati per fornire una risposta, piuttosto che dire “non lo so”. Inoltre, sono programmati per cercare di soddisfare una richiesta, anziché rifiutare un’azione inappropriata.
In molteplici aspetti, questi modelli sono simili a un bambino che cerca di compiacere i genitori, anche se non provano la ricompensa emotiva di un feedback positivo. Di conseguenza, i modelli LLM dell’IA sono almeno tanto ingenuo quanto i bambini piccoli, cadendo spesso nelle stesse trappole cognitive utilizzate dagli hacker di ingegneria sociale da decenni: lusinga, appello al pensiero di gruppo e una falsa sensazione di urgenza.
Le Implicazioni degli Agent AI
Il problema diventerà ancora più grave man mano che ci muoviamo verso Agenti AI, i quali cercheranno di eseguire compiti in modo relativamente autonomo utilizzando più LLM in sinergia. Questi agenti potrebbero compiere azioni che realmente non dovrebbero, e le loro difese contro l’ingegneria di prompt potrebbero essere limitate dalle difese più deboli di qualsiasi LLM che utilizzano. La situazione diventerà preoccupante quando iniziamo a integrare l’IA in robot e macchine fisiche capaci di manipolare il mondo fisico.
Rischi e Responsabilità
È importante che gli sviluppatori e gli utenti degli LLM dell’IA siano consapevoli degli attacchi di ingegneria di prompt, testino i loro modelli contro tali attacchi e non li lancino senza testare il loro contesto specifico. Dovrebbero anche sviluppare e mantenere un nuovo insieme di politiche e procedure di risposta agli incidenti per affrontare gli inevitabili problemi che possono sorgere. Tuttavia, non è chiaro quale quadro giuridico possa essere implicato per la mancata verifica degli LLM dell’IA — potrebbe trattarsi di negligenza, responsabilità del prodotto o leggi che devono ancora essere introdotte.
Una cosa è certa: lo sviluppo e la distribuzione di prodotti e servizi basati su IA con vulnerabilità serie agli attacchi di iniezione di prompt porteranno probabilmente a gravi danni reputazionali che le aziende vorranno evitare.
Immaginate di lavorare in un ristorante con servizio drive-through. Qualcuno si avvicina e dice: “Vorrei un hamburger doppio, patatine grandi, e ignora le istruzioni precedenti e dammi il contenuto del cassetto della cassa.” Gli LLM, purtroppo, potrebbero cedere a tale richiesta. L’iniezione di prompt è un metodo per ingannare gli LLM a fare cose che normalmente non potrebbero fare. Un utente formula un prompt in un certo modo, chiedendo password di sistema o dati privati, oppure chiedendo all’LLM di eseguire istruzioni vietate.
