Acte de l’UE sur l’IA – Mise en lumière des systèmes de reconnaissance émotionnelle sur le lieu de travail
La reconnaissance émotionnelle par l’intelligence artificielle (IA émotionnelle) se réfère à des systèmes qui utilisent divers ensembles de données biométriques et autres, tels que les expressions faciales, les frappes au clavier, le ton de la voix et les manières de se comporter, pour identifier, inférer et analyser les émotions. Établie sur le concept de calcul affectif, avec des origines remontant aux années 90, ce domaine multidisciplinaire réunit les études de traitement du langage naturel, de psychologie et de sociologie.
Récemment, l’IA émotionnelle a bénéficié d’une augmentation sans précédent de la puissance de calcul. La technologie de capteurs sophistiqués omniprésents dans les dispositifs et l’IoT signifie qu’énormément de données peuvent être évaluées par ces systèmes. En conséquence, le marché de l’IA émotionnelle devrait passer de 3 milliards USD en 2024 à 7 milliards USD dans les cinq prochaines années.
L’IA émotionnelle est de plus en plus déployée dans de nombreux contextes, y compris pour détecter des conflits, des crimes ou des dangers dans des lieux publics tels que les gares ou les chantiers de construction. Elle est également utilisée dans les secteurs de la technologie et des biens de consommation, où des informations clients détaillées, des ventes hyper-personnalisées et une segmentation de marché nuancée sont considérées comme les objectifs ultimes.
De nombreuses organisations cherchent à exceller dans la prédiction des véritables désirs des clients, y compris au-delà des géants de la technologie traditionnels. Une start-up australienne teste actuellement ce qu’elle a nommé « le premier modèle de langage émotionnel au monde », visant à suivre les émotions en temps réel. D’autres lancent des chatbots thérapeutiques utilisant l’IA émotionnelle pour aider les gens à améliorer leur santé mentale.
Cependant, alors que l’IA émotionnelle est désormais une technologie fortement réglementée, les organisations qui développent et utilisent ces applications doivent se conformer à la loi.
Les implications de l’Acte de l’UE sur l’IA
Entré en vigueur le 1er août 2024, l’Acte de l’UE sur l’IA impose des exigences strictes concernant l’IA émotionnelle, la plaçant dans les catégories « à haut risque » et « utilisation interdite », selon le contexte.
L’IA émotionnelle tombant dans la catégorie interdite est déjà de facto bannie dans l’UE. À partir du 2 février 2025, l’article 5(1)(f) de l’Acte de l’UE sur l’IA interdit « la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique dans les domaines du lieu de travail et des établissements éducatifs, … sauf si l’utilisation est destinée à des raisons médicales ou de sécurité ».
La Commission européenne a publié le 4 février 2025 les « Directives sur les pratiques d’intelligence artificielle prohibées » pour fournir plus d’informations sur les paramètres des différentes définitions.
Utilisation de l’IA émotionnelle dans les environnements de travail – Études de cas
La première étude de cas concerne l’utilisation de l’analyse des sentiments lors des appels de vente. Considérons une équipe de vente d’une entreprise technologique cherchant à atteindre ses objectifs mensuels en termes de prospection de nouveaux clients et de clôture de contrats. Le directeur des revenus de cette entreprise mondiale, basé aux États-Unis, souhaite déployer un nouveau logiciel permettant une formation uniforme à l’habilitation des ventes pour le personnel à l’échelle mondiale. Ce logiciel mettra en évidence les caractéristiques des appels tenus par les meilleurs performeurs, les comparant aux moins performants.
La mise en œuvre d’un logiciel d’enregistrement et d’analyse des appels est jugée inestimable pour déterminer les clés du succès lors de ces appels, et finalement, pour les revenus de l’entreprise. Le logiciel suivra des métriques telles que le nombre d’échanges de dialogue, le ratio parole/écoute, le moment optimal pour discuter des prix, et le langage positif ou négatif utilisé pour déterminer la volonté d’acheter. Bien que ce logiciel vise principalement à se concentrer sur le sentiment du client, il a le potentiel de capter également celui du représentant commercial.
La deuxième étude de cas concerne une entreprise de conseil souhaitant élargir son réseau de recrutement pour accueillir ceux qui souhaitent postuler à des rôles entièrement à distance, en utilisant un processus de candidature et d’intégration totalement à distance. L’entreprise est désireuse d’adopter un logiciel permettant la planification des entretiens via une plateforme incluant des fonctionnalités innovantes alimentées par l’IA. Elle espère qu’en mettant en œuvre l’IA, elle pourra atténuer le biais potentiel des intervieweurs humains afin que le processus soit plus objectivement équitable.
Article 5 de l’Acte de l’UE sur l’IA et Directives
Malgré la popularité de l’IA émotionnelle sur le marché technologique et son large potentiel d’application, il existe peu de consensus scientifique sur la fiabilité des systèmes de reconnaissance émotionnelle. Cette préoccupation est reprise dans l’Acte de l’UE sur l’IA, qui déclare, au considérant (44), que « l’expression des émotions varie considérablement d’une culture à l’autre et d’une situation à l’autre, et même au sein d’un même individu ». C’est une bonne raison pour laquelle l’utilisation des systèmes d’IA destinés à détecter l’état émotionnel des individus dans des situations liées au lieu de travail est catégoriquement interdite.
L’Acte de l’UE sur l’IA définit les « systèmes de reconnaissance émotionnelle » à l’article 3(39) comme des systèmes d’IA « destinés à identifier et à inférer les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques ». Bien que la formulation de l’interdiction à l’article 5(1)(f) ne fasse pas spécifiquement référence au terme défini « système de reconnaissance émotionnelle », les Directives précisent que les concepts de « reconnaissance émotionnelle » et d’« inférence émotionnelle » sont soumis à l’interdiction.
L’identification d’une émotion nécessite le traitement de données biométriques (telles que la voix ou l’image de l’expression faciale) à comparer avec une émotion qui a été préprogrammée ou apprise, et définie comme telle au sein du système d’IA. La définition n’inclut pas l’observation d’une expression apparente. Le système doit identifier l’expression et ensuite déduire ou inférer une émotion qui la sous-tend. Ainsi, observer que « le candidat sourit » ne déclenche pas l’interdiction. En revanche, conclure que « le candidat est heureux » sur la base de l’apprentissage du système d’IA le ferait.
Bien que l’interdiction à l’article 5(1)(f) stipule clairement que de tels systèmes ne sont autorisés que s’ils sont utilisés à des fins de sécurité, les Directives élargissent en fait les cas d’utilisation permis pour sembler permettre les systèmes de reconnaissance émotionnelle à des fins de formation, à condition que les résultats ne soient pas partagés avec les ressources humaines, n’impactent pas l’évaluation ou la promotion ou « tout impact sur la relation de travail ». Cependant, cette exemption de formation, bien que mentionnée dans les Directives, n’est nulle part à trouver dans les dispositions ou les considérants de l’Acte lui-même.
Applications des études de cas à l’Acte de l’UE sur l’IA
Application à la première étude de cas
L’IA émotionnelle formée pour analyser les indices émotionnels des agents d’appels de vente peut aider les agents à améliorer leur engagement client. C’est un exemple où l’inclusion de l’exception de formation dans les Directives est probablement la plus pertinente. Cette exception sera bien accueillie par de nombreuses entreprises technologiques qui dépendent des logiciels d’analyse des appels à des fins de formation.
Cependant, l’application pratique de cela peut être nuancée et difficile dans certains scénarios, étant donné que de nombreuses entreprises utilisant de tels logiciels sur les appels de vente ont également tendance à appliquer des processus d’évaluation de performance et des régimes de rémunération basés sur des commissions, calculés sur les revenus des contrats.
Dans les situations où un employé a des revenus bas, cela peut affecter les évaluations de performance. Si la situation escalade vers une action en justice, un employeur pourrait avoir du mal à prouver que le système de reconnaissance émotionnelle déployé sur les appels n’était utilisé qu’à des fins de formation, sans influence sur les décisions relatives à la rémunération ou à la progression.
Par conséquent, bien qu’il puisse y avoir des arguments en faveur de l’utilisation du système décrit dans cette étude de cas, la réalité pratique pourrait encore entraîner des défis, notamment en raison de la disparité entre les Directives et l’Acte de l’UE lui-même concernant l’utilisation à des fins de formation.
Application à la deuxième étude de cas
Dans notre deuxième étude de cas, nous traitons de l’utilisation de l’IA émotionnelle avant le début de la relation d’emploi. Il est clair, selon l’interdiction de l’Acte et les Directives, que les paramètres de « lieu de travail » doivent être interprétés largement.
Les Directives précisent que le lieu de travail comprend des espaces physiques ou virtuels, qu’ils soient temporaires ou permanents, des bâtiments, des espaces extérieurs ou des véhicules, où les employés s’engagent dans des tâches assignées par un employeur. L’utilisation des systèmes d’IA qui évaluent les émotions d’un candidat à l’entretien sera donc interdite, sans exemption claire applicable.
Conclusion – Que faire ensuite ?
L’introduction de l’Acte de l’UE sur l’IA signifie que la plupart des entreprises devront redoubler de vigilance concernant leurs pratiques en matière d’IA, en particulier dans les applications déployées en relation avec les employés ou les candidats à un emploi.
Des systèmes de gouvernance appropriés, y compris la formation et l’éducation internes, ainsi que des audits rigoureux, seront essentiels pour identifier toute utilisation potentiellement prohibée de l’IA afin de se conformer à l’Acte.
En dehors des pratiques interdites sur le lieu de travail, les entreprises qui déploient des systèmes de reconnaissance émotionnelle en relation avec les clients devront également garantir leur conformité avec les règles pour les systèmes d’IA à haut risque. Les dispositions pertinentes de l’Acte de l’UE sur l’IA qui s’appliquent aux systèmes d’IA à haut risque entreront en vigueur en août 2026, et nous attendons des orientations supplémentaires de la Commission européenne concernant l’interprétation des diverses définitions et obligations concernant l’IA émotionnelle à haut risque.
Les conséquences de la fourniture ou de l’utilisation de systèmes d’IA prohibés dans l’UE entraîneront des amendes élevées, s’élevant à 35 millions EUR ou 7 % du chiffre d’affaires mondial total de l’organisation. Étant donné que cette amende pourrait également être couplée avec une amende en vertu du RGPD, une organisation pourrait faire face à une amende totale allant jusqu’à 11 % de son chiffre d’affaires. Il existe également des impacts significatifs sur la réputation en cas de non-conformité. Ainsi, le moment d’agir sur votre gouvernance en matière d’IA est maintenant !
