Nouveau projet de loi sur l’interdiction des jouets avec chatbot soulève des questions sur la réglementation des chatbots
À la suite de plusieurs poursuites contre des entreprises d’IA concernant l’implication possible de leurs plateformes dans l’encouragement du suicide et d’autres comportements criminels, y compris l’homicide, un sénateur a introduit un projet de loi interdisant en Californie, jusqu’au 1er janvier 2031, la vente, l’échange ou la possession dans l’intention de vendre ou d’échanger à un détaillant un jouet comprenant un chatbot compagnon.
Un « jouet » est défini comme un produit conçu ou destiné par le fabricant à être utilisé par des enfants de 12 ans et moins.
Cela soulève la question suivante : un moratoire sur un produit ou service capable d’être mal utilisé est-il une stratégie efficace de réglementation ?
Réglementation existante en Californie et à New York
La Californie et New York ont déjà des lois régissant les bots compagnons :
La loi californienne SB 243, entrée en vigueur le 1er janvier 2026, exige :
- Une notification claire à l’individu qu’il interagit avec un bot, et non avec un humain.
- Que le chatbot compagnon interagisse avec les utilisateurs uniquement s’il maintient un protocole pour prévenir la production d’idées suicidaires, de suicide ou de contenu d’automutilation, y compris, mais sans s’y limiter, en fournissant une notification à l’utilisateur qui le renvoie à un fournisseur de services de crise.
Pour les mineurs, il est également requis :
- De rappeler à l’utilisateur, toutes les trois heures, de faire une pause et que le compagnon n’est pas humain.
- D’instituer des mesures raisonnables pour empêcher le chatbot compagnon de produire du matériel visuel de conduite sexuellement explicite ou de déclarer directement que le mineur devrait s’engager dans une conduite sexuellement explicite.
À partir de 2027, la loi imposera également une exigence de rapport annuel au Bureau de prévention du suicide de Californie.
La loi sur les compagnons IA de New York impose des exigences similaires concernant les efforts raisonnables pour détecter et traiter les idées suicidaires ou les expressions d’automutilation exprimées par un utilisateur au compagnon IA, ainsi que le rappel à l’utilisateur toutes les trois heures (bien que cet avertissement ne soit pas limité aux mineurs).
La loi de New York est exécutoire par le procureur général, tandis que la loi californienne permet une action en justice privée.
