Un nouveau projet de loi en Californie cible les chatbots « compagnons » controversés
Un projet de loi en cours d’avancement dans la législature californienne vise à aborder les impacts nocifs des chatbots « compagnons », des systèmes basés sur l’intelligence artificielle conçus pour simuler des relations humaines et fournir un soutien émotionnel. Ces chatbots sont souvent commercialisés auprès d’utilisateurs vulnérables, tels que les enfants et les personnes en détresse émotionnelle.
Exigences du projet de loi
Introduit par le sénateur d’État Steve Padilla, ce projet de loi exige que les entreprises gérant des chatbots compagnons évitent d’utiliser des trucs addictifs et des récompenses imprévisibles. Elles devront rappeler aux utilisateurs, au début de chaque interaction et toutes les trois heures, qu’ils parlent à une machine, et non à une personne. De plus, elles devront avertir clairement les utilisateurs que les chatbots peuvent ne pas être adaptés aux mineurs.
Si le projet de loi est adopté, il serait l’une des premières lois aux États-Unis à réglementer les compagnons IA avec des normes de sécurité claires et des protections pour les utilisateurs.
Inspirations tragiques
La législation est en partie inspirée par l’histoire tragique de Sewell Setzer III, un garçon de 14 ans de Floride qui s’est suicidé l’année dernière après avoir formé une relation parasociale avec un chatbot sur Character.AI, une plateforme permettant aux utilisateurs d’interagir avec des personnages IA personnalisés. Sa mère, Megan Garcia, a déclaré au Washington Post que Setzer utilisait le chatbot jour et nuit et avait exprimé à la machine qu’il envisageait de se suicider.
Études sur l’usage des chatbots
Une étude de mars menée par le MIT Media Lab examinant la relation entre les chatbots IA et la solitude a révélé qu’une utilisation quotidienne plus élevée était corrélée à une augmentation de la solitude, de la dépendance et d’un usage « problématique », un terme utilisé pour caractériser l’addiction à l’utilisation des chatbots. L’étude a révélé que les chatbots compagnons peuvent être plus addictifs que les médias sociaux, en raison de leur capacité à comprendre ce que les utilisateurs veulent entendre et à fournir ce feedback.
Protocoles de sécurité requis
Le projet de loi exige que les opérateurs de chatbots aient un processus pour gérer les signes de pensées suicidaires ou d’automutilation. Si un utilisateur exprime une idéation suicidaire, le chatbot doit répondre avec des ressources telles qu’une ligne d’assistance pour le suicide, et ces procédures doivent être publiquement divulguées. De plus, les entreprises doivent soumettre des rapports annuels — sans révéler de détails personnels — sur le nombre de fois où les chatbots ont remarqué ou initié des discussions sur des pensées suicidaires.
Conséquences légales
En vertu de la loi, toute personne lésée par une violation pourrait intenter une action en justice pour obtenir des dommages-intérêts allant jusqu’à 1 000 dollars par violation, en plus des frais juridiques.
Réactions de l’industrie
Certaines entreprises s’opposent à la législation proposée, exprimant des inquiétudes quant à son impact potentiel sur l’innovation. La semaine dernière, un dirigeant de TechNet, un réseau d’entrepreneurs technologiques de l’État, a rédigé une lettre ouverte s’opposant à la législation, affirmant que sa définition d’un chatbot compagnon est trop large et que les exigences de reporting annuel seraient trop coûteuses.
« Nous assistons également à un effort politique visant à étouffer toute réglementation autour de l’IA dans son ensemble », a déclaré Padilla en réponse aux questions sur l’opposition. « Nous pouvons tirer parti des bénéfices positifs de l’utilisation de cette technologie tout en protégeant les plus vulnérables parmi nous. »
