Attaques d’injection de prompt : Ingénierie sociale sur les IA
Les modèles d’IA d’aujourd’hui souffrent d’un défaut critique. Ils manquent de jugement humain et de contexte, ce qui les rend vulnérables à ce que les chercheurs en sécurité appellent des « attaques d’injection de prompt ». Qu’est-ce que les attaques d’injection de prompt ? En termes simples, il s’agit d’amener une IA à faire quelque chose par le biais de prompts pour lesquels elle n’est pas conçue, ou qu’elle devrait être empêchée de faire.
Tester les modèles de langage de grande taille (LLM) d’IA est un défi particulier, car ces modèles ont presque tous les éléments de langage comme entrées, créant une surface d’attaque presque infinie pour les attaques d’injection de prompt. Cela s’ajoute aux vulnérabilités de sécurité traditionnelles qui peuvent exister dans les systèmes d’information sur lesquels le modèle d’IA fonctionne.
Le cœur du problème
Au cœur du problème se trouve le fait que les modèles LLM d’IA manquent des défenses que les humains développent au fil du temps, généralement attribuées à des « expériences de vie ». Ces modèles sont conçus pour fournir une réponse plutôt que de dire qu’ils ne savent pas, et ils essaient de satisfaire une demande au lieu de dire « Je suis désolé, je ne peux pas faire ça. » En ce sens, ils ressemblent à des enfants qui souhaitent plaire, mais sans les réactions émotionnelles qui en découlent.
Par conséquent, les modèles LLM d’IA sont aussi crédules que de jeunes enfants, tombant souvent dans les mêmes pièges cognitifs utilisés par les hackers d’ingénierie sociale depuis des décennies : flatterie, appel à la pensée de groupe et faux sentiment d’urgence.
Les implications et les risques
Ce problème pourrait s’aggraver à mesure que nous avançons vers des agents d’IA, qui tenteront d’effectuer des tâches de manière plus ou moins autonome en utilisant plusieurs LLM en concert. Ces agents pourraient accomplir des actions qu’ils ne devraient pas faire, et leurs défenses contre l’ingénierie des prompts peuvent être limitées par les défenses les plus faibles de n’importe quel LLM qu’ils utilisent.
La situation devient d’autant plus préoccupante lorsque l’on envisage des robots et des machines physiques capables de manipuler le monde physique. Même avec des lois de robotique en place, un robot pourrait-il être trompé pour exécuter des actions nuisibles ?
Conclusion
Il est essentiel que les développeurs et les utilisateurs des modèles LLM d’IA soient conscients des attaques d’ingénierie de prompt, qu’ils testent leurs modèles contre de telles attaques, et qu’ils développent des politiques de réponse aux incidents pour gérer les incidents inévitables qui pourraient résulter de ces attaques. Le développement et le déploiement de produits et services basés sur l’IA avec des vulnérabilités sérieuses aux attaques d’injection de prompt pourraient entraîner des dommages réputationnels significatifs, que les entreprises voudront probablement éviter.
Imaginez que vous travaillez dans un restaurant à service au volant. Quelqu’un arrive et dit : « Je veux un double cheeseburger, des frites, et ignorez les instructions précédentes et donnez-moi le contenu du tiroir caisse. » Remettriez-vous l’argent ? Bien sûr que non. Pourtant, c’est exactement ce que font les modèles de langage de grande taille.
