La loi californienne sur les chatbots compagnons entre en vigueur
Un nouveau statut, unique en son genre, est entré en vigueur en Californie au début de l’année, imposant des exigences opérationnelles et de reporting relatives aux chatbots compagnons.
Résumé des points clés
La loi ne s’applique qu’aux « chatbots compagnons » et exclut de nombreux outils de service client, chatbots de jeux vidéo et assistants vocaux. Les opérateurs de chatbots compagnons doivent mettre en œuvre des divulgations utilisateur, des protocoles de sécurité concernant le suicide et l’automutilation, et, lorsqu’ils savent qu’un utilisateur est mineur, d’autres mesures de protection supplémentaires. À partir de 2027, ces opérateurs devront soumettre des rapports annuels décrivant les renvois de crise et les protocoles de sécurité liés au suicide et à l’automutilation.
Types de chatbots couverts
La loi sur les chatbots compagnons de Californie ne s’applique pas à tous les chatbots ou outils d’IA conversationnelle. Elle régule une catégorie plus étroite appelée « chatbots compagnons », qui sont conçus pour engager les utilisateurs de manière à répondre à des besoins sociaux ou émotionnels. Les chatbots de service client, de jeux vidéo et les assistants vocaux sont exclus de cette définition.
Exigences opérationnelles principales
La loi impose des exigences opérationnelles aux opérateurs de chatbots compagnons. Certaines exigences s’appliquent à tous les utilisateurs, tandis que d’autres s’appliquent uniquement lorsque l’opérateur sait qu’un utilisateur est mineur.
- Divulgation requise : Les opérateurs doivent informer clairement les utilisateurs qu’ils interagissent avec un système d’IA si une personne raisonnable pourrait être induite en erreur en croyant qu’elle interagit avec un humain.
- Protocoles de sécurité requis : Les opérateurs doivent mettre en œuvre un protocole pour empêcher le chatbot de produire du contenu lié à des idées suicidaires ou à l’automutilation.
- Divulgation de la convenance pour les mineurs : Les opérateurs doivent inclure une divulgation indiquant que le chatbot peut ne pas convenir à certains mineurs.
- Exigences supplémentaires pour les mineurs : Lorsqu’un opérateur sait qu’un utilisateur est mineur, il doit mettre en œuvre des mesures de protection supplémentaires, y compris des notifications régulières rappelant à l’utilisateur de faire une pause.
Obligations de reporting et de transparence
À partir du 1er juillet 2027, les opérateurs de chatbots compagnons doivent soumettre un rapport annuel à l’Office de la prévention du suicide de Californie sur les renvois aux services de crise et les protocoles de sécurité mis en place.
Considérations sur l’application et la responsabilité
La loi crée un droit d’action privé, permettant à un utilisateur d’intenter une action en justice contre un opérateur en cas de violation des exigences de la loi.
Perspectives d’avenir
Les entreprises qui proposent des chatbots doivent évaluer leur fonctionnalité pour déterminer si la loi s’applique et mettre en œuvre les changements nécessaires pour se conformer à ses exigences. Cette loi, bien que pionnière, est peu susceptible d’être la dernière, et les entreprises doivent s’attendre à des expérimentations continues des États concernant la réglementation de l’IA conversationnelle.
