Nova lei da Califórnia visa regular chatbots ‘companheiros’ de IA
Um projeto de lei que avança pela legislatura da Califórnia busca abordar os impactos prejudiciais dos chatbots “companheiros”, sistemas alimentados por inteligência artificial projetados para simular relacionamentos humanos e fornecer suporte emocional. Esses chatbots são frequentemente comercializados para usuários vulneráveis, como crianças e pessoas em distress emocional.
Detalhes do Projeto de Lei
Introduzido pelo senador estadual Steve Padilla, o projeto de lei exigiria que as empresas que operam chatbots companheiros evitassem usar truques viciantes e recompensas imprevisíveis. Elas teriam que lembrar os usuários no início da interação e a cada três horas que estão conversando com uma máquina e não com uma pessoa. Além disso, as empresas deveriam alertar claramente os usuários de que os chatbots podem não ser adequados para menores.
Se aprovado, este projeto de lei seria uma das primeiras leis no país a regular companheiros de IA com padrões de segurança claros e proteções ao usuário.
Inspiração para a Legislação
A legislação é parcialmente inspirada pela trágica história de Sewell Setzer III, um menino de 14 anos da Flórida que tirou a própria vida após formar um relacionamento parasocial com um chatbot na plataforma Character.AI. Sua mãe, Megan Garcia, afirmou que Setzer usava o chatbot dia e noite e havia expressado à máquina que estava considerando o suicídio.
Estudos Relacionados
Um estudo de março do MIT Media Lab examinou a relação entre chatbots de IA e solidão, revelando que o uso diário mais elevado se correlacionava com um aumento na solidão, dependência e uso problemático, um termo utilizado pelos pesquisadores para caracterizar a adicção ao uso de chatbots. O estudo mostrou que chatbots companheiros podem ser mais viciantes do que mídias sociais, devido à sua capacidade de descobrir o que os usuários desejam ouvir e fornecer esse feedback.
Requisitos do Projeto de Lei
O projeto de lei exige que os operadores de chatbots tenham um processo para lidar com sinais de pensamentos suicidas ou autolesão. Se um usuário expressar ideação suicida, o chatbot deve responder com recursos como um número de emergência para suicídio, e esses procedimentos devem ser divulgados publicamente. Além disso, as empresas devem enviar relatórios anuais—sem revelar detalhes pessoais—sobre quantas vezes os chatbots notaram ou iniciaram discussões sobre pensamentos suicidas.
Responsabilidade e Danos
De acordo com o projeto de lei, qualquer pessoa prejudicada por uma violação teria o direito de entrar com uma ação judicial buscando danos de até $1.000 por violação, além de custos legais.
Reações da Indústria
Algumas empresas estão se opondo à legislação proposta, levantando preocupações sobre seu impacto potencial na inovação. Na semana passada, um executivo da TechNet, uma rede estadual de CEOs de tecnologia, redigiu uma carta aberta se opondo à legislação, alegando que sua definição de um chatbot companheiro é muito ampla e que os requisitos de relatórios anuais seriam muito custosos.
“O que estamos testemunhando não é apenas um esforço político para restringir qualquer tipo de regulação em torno da IA de forma ampla,” disse Padilla em resposta a uma pergunta sobre a oposição. “Podemos capturar os benefícios positivos da implantação dessa tecnologia e, ao mesmo tempo, proteger os mais vulneráveis entre nós.”
