#Infosec2025 : Inquiétudes croissantes concernant les risques de sécurité de l’IA agentique

Les systèmes d’IA agentique, qui fonctionnent avec un haut degré d’autonomie, suscitent des préoccupations croissantes en matière de sécurité, selon des experts. Un système d’IA agentique pourrait choisir le modèle d’IA à utiliser, transmettre des données ou des résultats à un autre outil d’IA, ou même prendre une décision sans approbation humaine.

Ces systèmes d’IA agentique opèrent à un rythme plus rapide que les systèmes de génération précédente basés sur des modèles de langage de grande taille (LLMs), car ils fonctionnent sans nécessiter d’instructions ou de prompts humains. De plus, ils peuvent apprendre en cours de route, adaptant les modèles et les prompts qu’ils utilisent.

Les risques liés aux systèmes d’IA agentique

Des difficultés peuvent survenir lorsque les organisations enchaînent des composants d’IA, tels que des outils d’IA générative ou des chatbots, sans contrôles supplémentaires, ou lorsqu’elles permettent aux agents d’IA de prendre des décisions de manière autonome. Cela se produit déjà dans le domaine des technologies de l’information, notamment dans l’écriture de code et la configuration des systèmes.

Cela soulève le risque que les déploiements d’IA des organisations avancent plus rapidement que les contrôles de sécurité.

Selon une étude de la société de conseil EY, seulement 31 % des organisations affirment que leur mise en œuvre de l’IA est entièrement mature. De plus, l’étude a révélé que la gouvernance de l’IA dans les entreprises est à la traîne par rapport à l’innovation de l’IA.

Ce phénomène se manifeste de plus en plus avec l’IA agentique, qui peut amplifier les risques déjà identifiés avec les LLMs. Ces systèmes d’IA agentique sont soumis à tous les mêmes risques, notamment l’injection de prompts, le poisoning, les biais et les inexactitudes.

Cependant, les problèmes peuvent s’aggraver lorsque l’un des agents transmet des données inexactes, biaisées ou manipulées à un autre. Même un taux d’erreur relativement bas, de quelques points de pourcentage ou moins, peut devenir une erreur significative s’il est amplifié à travers des sous-systèmes. La sécurité est encore aggravée si les outils d’IA sont connectés à des sources de données en dehors du contrôle de l’entreprise.

“Au lieu que l’IA communique directement avec les humains, elle interagit avec d’autres systèmes d’IA,” explique un expert en IA.

“Nous avons besoin d’une couche de sécurité intermédiaire pour l’IA, surtout si vous collectez ou ingérez des informations de l’extérieur.”

La nécessité d’une vigilance accrue

Le développement rapide de l’IA agentique signifie que les équipes de sécurité doivent travailler rapidement pour identifier et signaler les risques potentiels. L’étude d’EY a révélé que 76 % des entreprises utilisent déjà l’IA agentique ou prévoient de le faire dans l’année, tandis que seulement 56 % affirment être modérément ou entièrement familiers avec les risques.

“La mise en œuvre de l’IA est différente du déploiement des technologies précédentes,” a déclaré un leader mondial en IA responsable. “Ce n’est pas un exercice « tout-en-un », mais un voyage, où votre gouvernance et vos contrôles d’IA doivent suivre le rythme des investissements dans la fonctionnalité de l’IA.”

Les conseils d’administration voudront voir des mesures pour sécuriser l’utilisation de l’IA, y compris l’IA agentique.

Violations et risques

Selon un directeur de la sécurité pour l’IA, l’adoption rapide de l’IA agentique pousse les organisations à renforcer leurs contrôles et politiques, ainsi qu’à examiner si les systèmes agentiques augmentent leur surface d’attaque.

“L’IA agentique n’est plus confinée au laboratoire,” a-t-il noté.

Le développement de code est un domaine où des agents sont utilisés. “Si les agents écrivent du code, cela doit être sécurisé,” a-t-il averti.

“Vous devez tester le code généré par les agents, tout en leur fournissant les bonnes protections.”

Il est à noter que les développeurs utilisent l’IA agentique car elle accélère la production de code. Dans d’autres domaines, les entreprises utilisent des agents pour améliorer le service client et l’automatisation.

Alors que les bots de service client de génération précédente étaient souvent incapables de répondre aux questions et devaient passer l’utilisateur à un agent humain, les systèmes d’IA agentique sont plus susceptibles de résoudre les problèmes eux-mêmes.

“Les agents d’IA redéfinissent rapidement la manière dont les entreprises interagissent avec les clients, automatisent leurs opérations et livrent des services,” a déclaré un directeur de stratégie en cybersécurité.

Cependant, cela dépend à la fois des développeurs d’outils d’IA et des équipes informatiques qui les déploient pour s’assurer que les API reliant les outils d’IA sont également sécurisées.

“Ces interfaces ne sont pas seulement des connecteurs techniques, elles fournissent les lignes de vie par lesquelles les agents d’IA accèdent aux données, exécutent des tâches et s’intègrent à travers les plateformes. Sans une sécurité API robuste, même l’IA la plus avancée devient une vulnérabilité plutôt qu’un atout,” a-t-il expliqué.

Comme le souligne l’expert, le risque des systèmes d’IA agentique ne provient pas seulement des composants eux-mêmes, mais également de leur utilisation conjointe. “Le risque de sécurité réside dans les lacunes.”

Il suggère d’utiliser le red teaming de l’IA pour tester que toutes les mises en œuvre de l’IA sont sécurisées, ainsi que d’utiliser des outils tels que des factures de matériaux d’IA pour vérifier quelle technologie est utilisée où, ainsi que pour documenter les connexions et les transferts entre les agents d’IA.

“Les responsables de la sécurité informatique n’ont pas de visibilité,” dit-il.

“C’est pourquoi nous avons des factures de matériaux d’IA qui permettent de voir les modèles et les ensembles de données que vous utilisez ainsi que les dépendances dans votre codage et vos applications.”

Articles

Ingénieurs en IA : Performance ou Responsabilité ?

L'intelligence artificielle a connu une explosion de ses capacités, plaçant les ingénieurs en IA à l'avant-garde de l'innovation. Pendant ce temps, la responsabilité éthique devient cruciale, car les...

L’IA responsable : un impératif incontournable

L'intelligence artificielle responsable n'est plus un simple mot à la mode, mais une nécessité fondamentale, selon Dr Anna Zeiter. Elle souligne l'importance d'établir des systèmes d'IA fiables et...

Intégrer l’IA en toute conformité dans votre entreprise

L'adoption de l'IA dans les entreprises échoue au moins deux fois plus souvent qu'elle ne réussit, selon la Cloud Security Alliance (CSA). Le modèle proposé, appelé Dynamic Process Landscape (DPL)...

Préserver les données générées par l’IA : enjeux et meilleures pratiques

Les outils d'intelligence artificielle générative (GAI) soulèvent des préoccupations juridiques telles que la confidentialité des données et les considérations de privilège. Les organisations doivent...

L’Intelligence Artificielle Responsable : Principes et Avantages

Aujourd'hui, l'IA change la façon dont nous vivons et travaillons, il est donc très important de l'utiliser de manière appropriée. L'IA responsable signifie créer et utiliser une IA qui est juste...

Réussir avec l’IA : Éthique et Gouvernance au cœur de l’Innovation

Il y a vingt ans, personne n'aurait pu prédire que nous compterions sur l'intelligence artificielle (IA) pour prendre des décisions commerciales critiques. Aujourd'hui, les entreprises doivent se...

Régulation de l’IA en Espagne : Pionnière en Europe

L'Espagne est à l'avant-garde de la gouvernance de l'IA avec la création du premier régulateur européen de l'IA (AESIA) et un cadre réglementaire en cours d'élaboration. Un projet de loi national sur...

Réglementation de l’IA : État des lieux et enjeux mondiaux

L'intelligence artificielle (IA) a connu des avancées considérables ces dernières années, ce qui a entraîné des opportunités et des risques potentiels. Les gouvernements et les organismes de...

L’IA dans les jeux d’argent : enjeux et responsabilités

L'article aborde l'impact de l'intelligence artificielle dans l'industrie des jeux d'argent, mettant en lumière les promesses d'efficacité et les risques réglementaires croissants. Les opérateurs...