De la contamination des données aux agents IA : La prochaine vague de menaces cybernétiques
Les outils d’intelligence artificielle (IA) se répandent rapidement dans diverses industries, offrant aux organisations de nouveaux moyens d’efficacité, d’aperçu et de croissance. Cependant, à mesure que l’adoption s’accélère, l’exposition aux risques cybernétiques augmente également.
Bien que l’IA puisse renforcer les défenses, ses capacités sont également exploitées par les cybercriminels. Le Forum économique mondial a rapporté une augmentation de 223% des applications d’IA générative sur le dark web entre 2023 et 2024. De plus, une enquête menée par la société de formation en cybersécurité SoSafe en mars a révélé que 87% des professionnels de la sécurité avaient rencontré une attaque alimentée par l’IA contre leur entreprise.
Deux grandes préoccupations sont soulevées concernant les modèles d’IA générative et la création de nouvelles surfaces d’attaque pour les organisations.
Apprentissage automatique adversarial : Attaques contre les modèles d’IA
Une zone majeure de préoccupation est l’apprentissage automatique adversarial, une famille d’attaques cybernétiques ciblant les modèles d’IA à différentes étapes de leur développement. Deux formes d’attaques attirent particulièrement l’attention : les attaques par contamination et les attaques sur la vie privée.
Attaques par contamination
La contamination des données fait référence aux tentatives d’interférer avec les sorties d’un modèle d’IA en manipulant les données utilisées pour l’entraîner. Cela peut se produire de manière active, lorsque un hacker insère des fichiers corrompus dans un ensemble de données d’entraînement, ou de manière passive, lorsque des données contaminées sont incorporées sans le savoir.
Un exemple en 2023 a montré que des chercheurs avaient développé un outil pour intégrer de petites quantités de données corrompues dans des œuvres d’art numériques. Ces fichiers étaient invisibles à l’œil nu et difficiles à détecter par les outils automatisés. S’ils étaient extraits et utilisés dans la formation d’IA, ils pouvaient dégrader les sorties d’un modèle.
Cette menace est non seulement efficace mais également peu coûteuse. Des chercheurs ont montré qu’ils pouvaient contaminer 0,01% d’un ensemble de données d’entraînement populaire pour seulement 60$.
Deux caractéristiques rendent la contamination particulièrement systémique :
- Vulnérabilité à travers les types de modèles – Les modèles de traitement du langage naturel, les systèmes de vision par ordinateur et l’IA générative peuvent tous être compromis.
- Concentration des données d’entraînement – Bien que des centaines de milliers d’ensembles de données existent, la plupart des développeurs s’appuient sur un pool relativement petit. Cibler ces ensembles de données peut donc compromettre une large gamme de modèles d’IA.
L’apprentissage fédéré, où plusieurs organisations forment conjointement un modèle tout en conservant la garde de leurs propres données, comporte également des risques, car si un seul participant est compromis, le modèle partagé peut être corrompu.
Attaques sur la vie privée
Les attaques sur la vie privée, en revanche, ciblent les modèles déjà formés et déployés. Ces attaques peuvent extraire des données sensibles, révéler des détails sur le fonctionnement d’un modèle, ou même répliquer le modèle lui-même.
Les risques sont significatifs car les modèles d’IA contiennent souvent des informations personnellement identifiables, de la propriété intellectuelle et des secrets commerciaux. Le phénomène de fuite de données est également préoccupant, où les systèmes d’IA exposent involontairement des informations sensibles.
Des erreurs humaines constituent un autre point faible. Une affaire largement médiatisée impliquait un employé d’une technologie qui a téléchargé du code source propriétaire sur un chatbot public. Cet incident a fait la une des journaux et a effrayé de nombreux DSI.
Cependant, la gouvernance des entreprises demeure inégale. Selon une enquête d’IBM, seulement 37% des organisations disposent d’une gouvernance autour de l’utilisation de l’IA. Nous pouvons donc nous attendre à plus de gros titres concernant la fuite de données à l’avenir.
L’essor des agents IA et l’augmentation des risques cybernétiques
La troisième catégorie de risque concerne les agents IA, également connus sous le nom d’IA agentique. Ces systèmes étendent les capacités des grands modèles de langage en leur permettant d’opérer de manière autonome.
Ces agents peuvent naviguer sur le web, accéder à des ensembles de données via des API, écrire et exécuter du code, effectuer des transactions en ligne, et même programmer leurs propres sous-agents. Mais cette autonomie comporte des risques profonds, y compris des erreurs et des « hallucinations » qui peuvent entraîner des fuites de données.
Plus un agent IA a de liberté, plus il y a de chances qu’il puisse mal utiliser ou exposer des données sensibles, perturber des systèmes d’affaires, ou être détourné par des hackers. De plus, comme ils imitent des acteurs humains, il existe un risque que des hackers puissent usurper l’identité des agents IA ou que des employés puissent confondre un hacker humain avec un agent IA légitime au sein des systèmes de l’entreprise.
Conseils pour les courtiers face aux risques liés à l’IA
À mesure que ces risques émergent, les clients chercheront de plus en plus à leurs courtiers des conseils pour gérer les expositions à l’IA et comment l’assurance peut répondre à ces défis.
Les spécialistes de l’industrie suggèrent que les courtiers se concentrent sur des étapes pratiques :
- Demander des cas d’utilisation de l’IA – Encouragez les clients à cartographier où l’IA est déployée dans leur organisation, des chatbots de service client au développement de code, pour comprendre les points d’exposition potentiels.
- Examiner la gouvernance et les contrôles – Seulement un tiers des entreprises déclarent avoir des politiques de gouvernance de l’IA. Les courtiers peuvent aider les clients à reconnaître l’importance d’une supervision formelle, y compris des politiques d’utilisation acceptable et de la formation des employés.
- Mettre en lumière les risques de la chaîne d’approvisionnement – De nombreux outils d’IA dépendent d’ensembles de données tiers ou de modèles open-source. Les courtiers devraient discuter avec les clients de la manière dont ces fournisseurs sont vérifiés et des contrôles en place pour surveiller les manipulations.
- Revoir soigneusement le langage des polices cybernétiques – Les polices cybernétiques standard peuvent ne pas traiter explicitement l’apprentissage automatique adversarial, les agents IA ou les fuites de données. Les courtiers devraient travailler avec les souscripteurs pour clarifier si et comment ces risques sont couverts.
- Positionner la gestion des risques comme un différenciateur – Les clients qui peuvent démontrer une forte gouvernance de l’IA, une bonne hygiène des données et une supervision des fournisseurs sont mieux placés pour obtenir de meilleures conditions d’assurance et des prix.
