Le Rôle de l’UE dans la Sécurité des Adolescents face à l’IA
Les nouvelles récentes sont rassurantes : OpenAI a introduit des contrôles parentaux pour ChatGPT, permettant aux parents de lier leurs comptes à ceux de leurs adolescents et d’ajuster les paramètres pour une expérience sécurisée et adaptée à l’âge. L’entreprise a également annoncé qu’elle développe un algorithme de prédiction d’âge pour guider les utilisateurs vers un contenu approprié, impliquant potentiellement les forces de l’ordre dans des cas de détresse aiguë.
Meta a fait une annonce similaire, promettant de former ses chatbots IA pour éviter d’interagir avec les adolescents sur des sujets sensibles comme le suicide, l’automutilation et les troubles alimentaires, en les dirigeant plutôt vers des ressources de soutien professionnel.
Réactions des entreprises face aux préoccupations croissantes
Face aux inquiétudes grandissantes concernant les dangers que les chatbots peuvent représenter pour les adolescents, les entreprises technologiques semblent intensifier leurs efforts pour aborder ces risques pour la santé mentale. Un porte-parole de Meta a déclaré à la presse que, pour l’instant, l’accès des adolescents à un groupe sélectionné de personnages IA sera limité, avec des mises à jour prévues dans les semaines à venir.
Cependant, ces engagements récents des entreprises n’ont pas émergé de considérations proactives en matière de sécurité, mais plutôt de poursuites judiciaires, comme le cas d’un adolescent aux États-Unis dont les parents allèguent qu’un chatbot a encouragé son suicide. Naomi Baron, professeur émérite à l’American University, soutient que ces mesures, bien qu’elles soient « un pas dans la bonne direction », sont insuffisantes. Elle estime que des découragements pour les utilisateurs de tous âges à devenir dépendants des programmes IA conçus pour remplacer les humains comme sources de compagnie et de conseils sont nécessaires.
Les limites de la réglementation actuelle
Au niveau politique, la Loi sur l’IA de l’UE offre un cadre réglementaire qui inclut des mesures pour atténuer les risques pour la santé mentale posés par les chatbots IA. Cependant, le cadre juridique actuel de l’UE considère encore ces incidents comme des cas isolés malheureux plutôt que comme des conséquences prévisibles du déploiement d’une IA conversationnelle puissante sans garde-fous adéquats.
La Loi sur l’IA de l’UE ne parvient pas à traiter les complexités de la façon dont les systèmes IA fonctionnent réellement dans la pratique. De nombreux chatbots IA tombent encore dans la catégorie de risque limité, n’exigeant qu’une transparence de base concernant l’interaction des utilisateurs avec les machines, laissant de nombreuses préoccupations en matière de santé mentale non abordées.
Les exigences de transparence et leurs implications
Brando Benifei, membre social-démocrate du parlement italien et co-rapporteur de la Loi sur l’IA, souligne qu’au-delà des exigences de transparence, tous les systèmes IA doivent respecter les interdictions contre les techniques manipulatrices pouvant déformer le comportement et causer des dommages significatifs.
Cependant, la norme « délibérée » crée un fardeau de preuve significatif, nécessitant que les régulateurs aient accès à des communications et à une documentation technique étroitement gardées que les entreprises ne sont pas susceptibles de divulguer volontairement. Ces informations n’ont été révélées jusqu’à présent que par des fuites, plutôt que par des divulgations délibérées.
Les lacunes des nouvelles législations
Les récents développements législatifs de l’UE mettent en lumière l’écart entre la reconnaissance des problèmes et la mise en œuvre de véritables mesures de protection. En juillet 2025, la Commission Européenne a publié des directives sur la protection des mineurs en ligne. Ce document promet une avancée : il établit des attentes concernant les mécanismes d’escalade, la vérification de l’âge et l’audit indépendant des plateformes en ligne. Le problème réside dans le fait que ces directives sont conseillées, mais non obligatoires.
La vérification de l’âge en est un exemple clé. La Commission encourage les entreprises à mettre en œuvre des mécanismes d’assurance d’âge, mais ne va pas jusqu’à les rendre obligatoires. Cela entraîne une situation où certains des chatbots les plus utilisés reposent sur des cases à cocher demandant aux utilisateurs de confirmer qu’ils ont plus de 18 ans.
Les défis techniques et éthiques
Les systèmes de prévention du suicide dans les chatbots IA reposent sur des systèmes automatisés formés pour reconnaître les indices verbaux ou émotionnels suggérant qu’un utilisateur pourrait être en crise. Lorsqu’ils détectent des signes d’alerte, le chatbot peut partager des liens vers des lignes d’assistance, ou dans des configurations plus avancées, escalader le cas à des modérateurs humains ou même aux services d’urgence.
Les faux négatifs, où les systèmes échouent à détecter une détresse réelle, peuvent entraîner des occasions manquées d’intervention, ce qui peut avoir de graves conséquences. Les faux positifs créent leurs propres problèmes : des algorithmes trop sensibles pourraient déclencher des interventions injustifiées, causant un stress inutile ou même impliquant les autorités sans justification.
Les biais culturels et linguistiques intégrés dans ces systèmes ajoutent une autre couche de complexité. Les modèles de détection formés principalement sur certains groupes démographiques peuvent mal interpréter les expressions culturelles de détresse ou manquer des signes d’alerte qui ne correspondent pas à leurs modèles de formation.
La nécessité d’une régulation obligatoire
Les mesures dirigées par l’industrie créent des angles morts supplémentaires : « L’accent est souvent mis sur les plus grandes plateformes, tandis que les plus petites ou moins visibles, qui peuvent adopter des pratiques plus nuisibles, échappent à la surveillance. Une vidéo nuisible peut être retirée de TikTok pour réapparaître sur Reddit ; un chatbot peut refuser d’engager des discussions sur des sujets de santé mentale, tandis qu’un autre comble cette lacune sans garde-fous. »
Il est donc nécessaire de mettre en place une réglementation contraignante. Un cadre holistique et applicable est requis pour garantir que toutes les plateformes et services, grands et petits, respectent les mêmes normes de sécurité et de protection pour les utilisateurs, en particulier les mineurs et ceux en situation vulnérable.
En conclusion, il est impératif que les cadres juridiques traitent les impacts mentaux de l’IA comme une véritable crise de santé publique, et non comme un exercice de responsabilité d’entreprise. Cela signifie des normes de sécurité obligatoires pour les systèmes IA traitant de conversations sur la santé mentale, avec de véritables mécanismes d’application et un design proactif, plutôt que des solutions réactives après des tragédies.
