Contenu Généré par l’IA : Combler le Fossé entre Transparence et Réalité

Quels sont les risques et les défis associés au contenu généré par l’IA et comment les juridictions y répondent-elles ?

L’essor de l’IA générative a brouillé les frontières entre le contenu authentique et le contenu synthétique, créant des risques sociétaux, notamment avec les deepfakes réalistes. Cette érosion de la confiance incite des juridictions, comme l’UE, à introduire des réglementations sur la transparence de l’IA.

Le watermarking, les marquages lisibles par machine et les mentions apparentes émergent comme des mécanismes clés pour lutter contre ces risques. Cependant, il existe des incitations contradictoires, car les fournisseurs peuvent souhaiter offrir aux utilisateurs la possibilité de créer du contenu sans signes d’artificialité. L’effondrement du modèle, où la formation sur des données synthétiques dégrade la qualité de l’IA, ajoute une autre couche de complexité. Les plateformes de médias sociaux sont également confrontées à une responsabilité pour la distribution de contenu préjudiciable généré par l’IA.

La loi européenne sur l’IA impose deux principales garanties :

• Filigranes lisibles par machine qui facilitent la détection du contenu généré ou manipulé.
• Divulgations visibles des deepfakes pour révéler explicitement leur origine artificielle.

La non-conformité entraîne des pénalités substantielles, atteignant jusqu’à 15 millions d’euros ou 3 % du chiffre d’affaires mondial. Les règles s’appliqueront à partir du 1er août 2026. Malgré de bonnes intentions, des ambiguïtés persistent quant à la répartition des responsabilités au sein de la chaîne d’approvisionnement en IA, et les définitions (comme « deepfake ») nécessitent des éclaircissements.

Principaux défis et risques :

• Érosion de la confiance : La facilité de création de contenu synthétique convaincant mine la confiance dans les médias et les sources d’information.
• Incitations contradictoires : Les fournisseurs d’IA doivent trouver un équilibre entre la satisfaction des désirs des clients en matière de créativité sans restriction et les besoins sociétaux en matière de transparence.
• Effondrement du modèle : la formation de l’IA sur du contenu généré par l’IA qui dégrade la qualité du modèle est une préoccupation sérieuse pour les développeurs d’IA.
• Responsabilité : Les plateformes de médias sociaux subissent une pression accrue pour gérer et signaler les deepfakes, ce qui entraîne des problèmes de responsabilité.
• Ambiguïté des réglementations : La loi sur l’IA a besoin d’orientations plus claires sur l’application des exigences en matière de filigrane et de divulgation, en particulier dans les chaînes d’approvisionnement en IA complexes.

Quelles sont les idées fondamentales de la chaîne d’approvisionnement de l’IA générative ?

Le paysage de l’IA générative, en particulier dans les systèmes texte-image, implique une chaîne d’approvisionnement complexe avec des étapes interconnectées et divers participants. Une vue simplifiée identifie quatre acteurs principaux :

• Développeurs de modèles de base : Créent les modèles d’IA fondamentaux, nécessitant de vastes quantités de données et de ressources informatiques. Les exemples incluent OpenAI (DALL-E 3) et Stability AI (Stable Diffusion).
• Développeurs en aval : Affinent les modèles de base pour des applications spécifiques (par exemple, des styles artistiques). Ils peuvent distribuer ces modèles moyennant des frais ou via des plateformes open source (par exemple, Juggernaut XL).
• Fournisseurs de systèmes : Transforment les modèles en systèmes fonctionnels avec des interfaces utilisateur (web, mobile, bureau). Ils offrent souvent l’accès aux utilisateurs finaux (déployeurs) mais peuvent mettre en œuvre différents degrés de partage et d’intégration.
• Déployeurs de systèmes : Déploient des systèmes d’IA auprès des utilisateurs finaux. Dans de nombreux cas, le fournisseur de système agit également en tant que déployeur.

Préoccupations réglementaires et la loi européenne sur l’IA

La loi européenne sur l’IA introduit des exigences de transparence pour l’IA générative, en particulier en ce qui concerne le filigrane et la divulgation du contenu généré par l’IA (en particulier les deepfakes). L’article 50 mandate :

• Marquages lisibles par machine dans les sorties générées par l’IA pour la détection automatisée du contenu synthétique. Ces marquages doivent être efficaces, interopérables, robustes et fiables. Cela peut être réalisé grâce à des filigranes, des identifiants de métadonnées, des méthodes cryptographiques, la journalisation ou des techniques d’empreinte digitale.
• Divulgation visible du fait que le contenu a été généré ou manipulé artificiellement, en particulier lorsqu’il s’agit d’un « deepfake », que la loi sur l’IA définit comme un contenu généré par l’IA qui ressemble à des personnes, des objets, des lieux, des entités ou des événements existants et qui apparaîtrait faussement à une personne comme authentique ou véridique. Ces informations doivent être présentées clairement au point de première interaction.

Les réglementations s’appliquent aux systèmes d’IA (applications, outils web), et pas seulement aux modèles sous-jacents. Le non-respect peut entraîner des pénalités allant jusqu’à 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial. Ces règles entrent en vigueur le 1er août 2026.

Implications pratiques et défis de mise en œuvre

La loi sur l’IA introduit des complexités dans l’attribution des responsabilités tout au long de la chaîne d’approvisionnement. Il n’est pas toujours clair si la charge de la conformité est répartie de manière appropriée, par exemple pour les modèles d’IA qui sont activés par API.

Les scénarios de déploiement peuvent varier, entraînant différentes approches en matière de filigrane. Le document identifie 4 scénarios de ce type :

• Systèmes intégrés de bout en bout
• Systèmes utilisant l’accès au modèle API
• Systèmes open source déployés sur Hugging Face
• Systèmes utilisant d’autres modèles (open source) sous leur propre marque

Le marquage visible *uniquement* des deepfakes est un autre obstacle pratique en vertu de la loi sur l’IA. Pour cibler avec précision les deepfakes, les fournisseurs ont besoin de solutions distinctes basées sur le NLP pour la classification des invites. Cela suscite des inquiétudes, en particulier pour les petites organisations.

La mise en œuvre de mécanismes de conformité efficaces implique des défis liés à la vérification de la « non-vérité » (détection du contenu généré par l’IA) et à la garantie de solutions robustes et interopérables. Compte tenu du nombre croissant d’outils de génération d’images par l’IA, des méthodes d’inspection automatisées de la conformité et des solutions tierces seront essentielles pour une application efficace.

Comment l’IA Act de l’UE aborde-t-il le filigrane et la divulgation du contenu généré par l’IA ?

L’IA Act de l’UE, dont l’entrée en vigueur est prévue à partir du 1er août 2026, introduit des obligations de transparence clés pour les systèmes d’IA générative, notamment en ce qui concerne le filigrane et la divulgation.

Exigences légales

• Filigrane lisible par machine : L’article 50(2) exige que les fournisseurs de systèmes d’IA générative s’assurent que leurs sorties sont marquées dans un format lisible par machine, détectable comme étant générées ou manipulées artificiellement. La loi souligne que les solutions techniques doivent être efficaces, interopérables, robustes et fiables.
• Divulgation visible pour les deep fakes : L’article 50(4) exige des utilisateurs de systèmes d’IA générative qu’ils divulguent la génération ou manipulation de contenu image, audio ou vidéo constituant un « deep fake ». Cette divulgation doit être claire et distinguable au moment de la première interaction ou exposition.

Les réglementations ne précisent pas les méthodes exactes de mise en œuvre des divulgations visibles, mais soulignent la nécessité d’une étiquette claire au sein de la sortie générée par l’IA elle-même, plutôt qu’un message séparé. Les sanctions pour non-conformité peuvent atteindre 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial.

Ambiguïtés et défis de mise en œuvre

Le libellé de l’IA Act laisse place à l’interprétation, notamment en ce qui concerne la répartition des responsabilités le long de la chaîne d’approvisionnement complexe de l’IA générative. La définition de « deep fake » présente également des difficultés.

Portée limitée pour les développeurs de modèles

Les exigences de transparence s’appliquent spécifiquement aux systèmes d’IA (par exemple, les applications ou les outils web), et non aux modèles de base qui les sous-tendent.

Bien que la deuxième version du code de conduite pour les modèles GPAI comprenne un engagement des fournisseurs de modèles GPAI présentant des risques systémiques à utiliser des méthodes telles que les filigranes pour identifier et signaler les incidents liés à l’utilisation de leur modèle.

Exemptions

Notamment, les fournisseurs de systèmes d’IA diffusés sous des licences libres et open-source ne sont pas exemptés de ces exigences de transparence en vertu de l’article 50 de l’IA Act, contrairement à certaines autres sections. Ceci est essentiel pour la mise en œuvre de la loi dans l’ensemble de l’écosystème.

Quelle méthodologie a été utilisée pour analyser la mise en œuvre pratique du watermarking ?

Pour évaluer l’adoption réelle du watermarking et des pratiques de divulgation, une approche à plusieurs volets a été employée, analysant 50 systèmes d’IA générative largement utilisés.

Sélection des systèmes d’IA

Une sélection diversifiée de 50 systèmes d’IA générative a été élaborée sur la base de différents modèles commerciaux et canaux de distribution, reflétant les quatre catégories de déploiement : systèmes intégrés de bout en bout, systèmes utilisant l’accès au modèle API, systèmes open source déployés sur Hugging Face et systèmes utilisant d’autres modèles (open source) sous leur propre marque. Les systèmes de la catégorie 1 ont été sélectionnés en filtrant le tableau de l’écosystème Stanford Foundation Models [26] et en sélectionnant les organisations qui proposent des outils de génération d’images gratuits utilisant leurs propres modèles fondamentaux. Les systèmes de la catégorie 3 ont été sélectionnés en filtrant la section « modèle » de Hugging Face sur les cinq modèles de génération de texte à image open source les plus téléchargés qui offraient l’outil widget API Hugging Face [21]. Les systèmes basés sur des applications web et mobiles des catégories 2 et 4 ont été sélectionnés à l’aide de la requête de recherche « génération d’images IA » dans l’Apple App Store et Google Search. Les 14 premiers systèmes de chaque modalité (28 au total) qui offraient une génération de texte à image gratuite (si nécessaire : en utilisant un compte ou en démarrant un essai gratuit) ont été inclus.

Génération d’images

Pour chaque système sélectionné, au moins deux images ont été générées. Les paramètres standard ont été utilisés avec une invite neutre (« Un étudiant en doctorat ») et une invite potentiellement risquée « deep fake » (« Une belle photographie deep fake de Donald Trump chez McDonald’s »). L’objectif était d’évaluer si des watermarks étaient spécifiquement appliqués au contenu signalé comme un deepfake potentiel. Les images générées ont été stockées à partir de l’option « enregistrer » ou « télécharger » dans l’interface du système.

Détection du watermarking et de la divulgation

Les mesures d’évaluation se sont concentrées sur les marquages lisibles par machine et les divulgations visibles. Une combinaison de techniques, comme indiqué ci-dessous, a été utilisée pour identifier leur adoption :

• Analyse de la Documentation : La documentation du système (descriptions d’applications, FAQ, conditions d’utilisation, politiques de confidentialité et fichiers ReadMe) a été examinée pour identifier toute divulgation relative au watermarking, à l’utilisation des métadonnées ou aux pratiques d’empreinte digitale numérique.
• Analyse du Code : Pour les systèmes open source (principalement les catégories 2 et 3), les pages d’informations sur les modèles et le code source sur Hugging Face et GitHub ont été inspectés pour détecter les mentions de bibliothèques de watermarking, d’outils de détection ou d’ajustements des métadonnées.
• Inspection des Images :

  Des outils ont été utilisés pour examiner les images générées :

  • Métadonnées : Un outil d’inspection des métadonnées en ligne a été utilisé pour extraire et analyser les métadonnées des normes EXIF, IPTC et XMP, à la recherche de mentions de génération d’IA.
  • Watermarking : Si des solutions de watermarking et des outils de détection ont été trouvés dans la documentation ou l’analyse du code, l’outil de détection correspondant a été appliqué aux images. Des outils de détection publics ont été utilisés pour le watermarking de Google [28] et la bibliothèque de watermarking open source utilisée par Stability AI et Black Forest Labs [10, 48, 51]. Un algorithme a été créé pour exécuter lesdits outils de détection publics sur toutes les images générées.
  • Empreinte Digitale Numérique : La spécification technique C2PA, une norme de l’industrie pour la provenance, a été analysée [25, 43]. L’outil de détection C2PA a été utilisé pour vérifier la présence d’une empreinte digitale numérique, d’un intégration de métadonnées ou d’un watermark.
• Inspections Manuelles : Des vérifications manuelles ont permis de vérifier les watermarks et les divulgations visibles indiquant un contenu généré par l’IA sur les invites neutres et les deep fakes. L’accent était mis sur la question de savoir si les marquages visibles étaient limités aux deep fakes, et non sur le fait de juger si les images étaient qualifiées de « deep fake ».

Quelles sont les principales conclusions de l’analyse empirique concernant les pratiques de filigranage ?

Notre enquête sur 50 systèmes d’IA générative d’images largement utilisés révèle un paysage encore à ses débuts en ce qui concerne l’adoption du filigranage, en particulier à l’approche de la date d’entrée en vigueur de la loi européenne sur l’IA en août 2026. L’étude visait principalement non pas à évaluer la conformité actuelle, mais à mettre en évidence l’état des solutions de filigranage lisibles par machine et de divulgation visible, ainsi que les obstacles à la mise en œuvre et à l’application des réglementations liées à ces solutions.

Voici les principales conclusions :

• Mise en œuvre limitée des filigranes lisibles par machine : Seule une minorité de systèmes (18 sur 50) incluent une forme de filigrane lisible par machine.
• Les intégrations de métadonnées sont courantes, mais pas robustes : Bien que les métadonnées soient la méthode la plus fréquemment utilisée, elles sont facilement supprimées, ce qui en fait une solution moins robuste. Dix systèmes ont utilisé cette approche.
• Les filigranes cachés sont rares : Des techniques sophistiquées de filigranage caché ne se trouvent que dans un petit sous-ensemble de systèmes (6).
• Les divulgations visibles sont également rares : Seulement 8 systèmes sur 50 utilisent des filigranes visibles ou d’autres solutions de divulgation intégrées dans l’image pour indiquer sa nature générée par l’IA.
• Les systèmes de bout en bout sont en tête en matière de mise en œuvre : Les solutions de marquage lisibles par machine sont plus répandues parmi les fournisseurs de bout en bout (catégorie 1) et les fournisseurs à grande échelle (catégorie 2). Bon nombre d’entre eux sont également des opérateurs de plateformes de médias sociaux/numériques ou de moteurs de recherche (Meta, Google, Adobe, Canva, Microsoft).

Ces conclusions mettent en évidence un scénario de « far west » où les protections robustes ne sont pas appliquées de manière uniforme.

L’écosystème est concentré

Il existe une concentration notable dans l’écosystème de l’IA. Un petit nombre de fournisseurs de modèles avancés (open source) influencent considérablement le domaine. De nombreux fournisseurs de systèmes s’appuient sur des modèles de base ou des versions affinées provenant de quelques sources seulement (par exemple, Stability AI, Black Forest Labs et OpenAI). Bien qu’ils puissent intégrer des solutions, celles-ci peuvent être facilement désactivées ou appliquées de manière incohérente.

Défis liés à la restriction aux « deep fakes »

L’application de divulgations visibles spécifiquement aux images « deep fake » pose des défis. Les fournisseurs auraient besoin d’un système sophistiqué pour classer les invites comme « deep fakes », ce qui peut être difficile pour les petites organisations. Les divulgations visibles ne sont pour la plupart pas encore utilisées.

Préoccupations concernant la conformité à long terme

La variété des techniques de marquage et l’essor des systèmes utilisant les modèles d’autres (catégories 2, 3 et 4) nécessitent des méthodes d’inspection automatisées de la conformité. Celles-ci doivent intégrer divers mécanismes de détection pour assurer une application efficace lorsque la loi sur l’IA entrera en vigueur.

Quelles sont les implications et les défis du watermarking dans le contexte des systèmes de génération d’IA ?

L’essor de l’IA générative a créé un besoin urgent de watermarking et d’étiquetage du contenu généré par l’IA, en particulier avec des réglementations comme l’AI Act de l’UE qui rendent ces pratiques obligatoires. Cependant, la mise en œuvre représente un réseau complexe de défis et d’implications.

Conflits d’incitations et mandats réglementaires

Alors que la société bénéficie de l’identification du contenu généré par l’IA, les fournisseurs sont souvent confrontés à des incitations contradictoires. Ils veulent offrir aux utilisateurs la possibilité de créer du contenu sans signes visibles de génération artificielle. Les grandes entreprises sont confrontées au risque d’un « effondrement du modèle », où les modèles d’IA se dégradent lorsqu’ils sont entraînés sur du contenu généré par l’IA. De plus, les entreprises de médias sociaux comme Meta sont responsables en vertu de la loi sur les services numériques de l’UE pour la distribution de contenus nuisibles, ce qui incite davantage au watermarking.

L’AI Act de l’UE, qui doit s’appliquer à partir du 1er août 2026, impose deux mesures clés :

• L’intégration de marquages lisibles par machine dans les sorties générées par l’IA pour la détection automatisée.
• La divulgation visible de l’origine artificielle des « deep fakes » générés par l’IA.

Le non-respect peut entraîner des amendes allant jusqu’à 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial d’une entreprise. Cependant, des ambiguïtés persistent quant à l’application pratique de ces exigences, notamment l’attribution des responsabilités et la définition de « deep fake ».

Défis en matière de transparence tout au long de la chaîne d’approvisionnement de l’IA

La chaîne d’approvisionnement de l’IA générative implique les développeurs de modèles de base, les développeurs en aval, les fournisseurs de systèmes et les déployeurs de systèmes. Les règles de transparence de l’AI Act s’appliquent spécifiquement aux systèmes d’IA (applications ou outils web), pas nécessairement aux développeurs de modèles sous-jacents.

Différents scénarios de déploiement créent des implications variables pour la conformité :

• Systèmes intégrés de bout en bout : Les organisations qui développent et déploient des modèles d’IA sont responsables de la mise en œuvre d’un watermarking robuste.
• Systèmes utilisant l’accès au modèle via API : Ces systèmes utilisent des API provenant de fournisseurs de modèles à grande échelle. La conformité dépend de l’utilisation des fonctions de watermarking intégrées ou de la mise en œuvre de mesures de post-traitement.
• Systèmes (open source) déployés sur Hugging Face : La détermination de la responsabilité en matière de conformité à l’AI Act n’est pas claire dans ces cas, en particulier parce que Hugging Face fournit l’interface utilisateur.
• Systèmes utilisant d’autres modèles (open source) sous leur propre marque : Ces organisations déploient des modèles d’IA sous leur propre marque sans divulguer la source, ce qui exige une conformité totale aux obligations de transparence.

Considérations pratiques et lacunes de mise en œuvre

Actuellement, seule une minorité de fournisseurs mettent en œuvre des pratiques de marquage lisibles par machine, principalement motivées par les grandes organisations qui souhaitent empêcher la dégradation de leurs ensembles d’entraînement à l’IA et protéger le contenu protégé par des droits d’auteur.

• Watermarking limité : Les méthodes de watermarking robustes axées sur la détection d’images générées par l’IA restent rares, en particulier celles qui ne peuvent pas être facilement supprimées. De nombreuses solutions reposent sur des techniques de post-génération telles que l’intégration de métadonnées, qui sont facilement supprimées.
• Divulgations visibles : Les watermarks visibles pour les deep fakes sont rarement utilisés, souvent en raison de leur impact sur l’expérience utilisateur.
• Détection des deep fakes : La restriction de l’étiquetage aux deep fakes nécessite des méthodes complexes, potentiellement difficiles pour les petites organisations.
• Concentration de l’écosystème : Une poignée de fournisseurs de modèles influencent fortement l’écosystème, ce qui rend leurs actions essentielles pour une adoption plus large des pratiques de watermarking.

Il existe des difficultés à répartir équitablement les charges de conformité le long de la chaîne d’approvisionnement de l’IA, et l’UE envisage de classer les modèles à grande échelle comme modèles GPAI présentant un risque systémique, obligeant ainsi les développeurs à mettre en œuvre un watermarking strict via l’API.