O Papel da UE na Segurança de Adolescentes em IA enquanto OpenAI e Meta Implementam Controles
As manchetes soam tranquilizadoras: a OpenAI introduziu controles parentais para o ChatGPT, permitindo que os pais vinculem suas contas às de seus filhos adolescentes e ajustem as configurações para o que a empresa chama de uma experiência “segura, apropriada para a idade”. A empresa também anunciou que está desenvolvendo um algoritmo de previsão de idade para direcionar os usuários a conteúdos adequados, potencialmente envolvendo a aplicação da lei em casos raros de angústia aguda.
A Meta fez um anúncio semelhante, comprometendo-se a treinar seus chatbots de IA para evitar interagir com adolescentes sobre tópicos sensíveis, como suicídio, autolesão e distúrbios alimentares, redirecionando-os para recursos de apoio profissional.
Em meio a preocupações crescentes sobre os perigos que os chatbots podem representar para os adolescentes, as empresas de tecnologia parecem estar se esforçando para abordar esses riscos à saúde mental. Um porta-voz da Meta informou que a empresa, por enquanto, limitará o acesso dos adolescentes a um grupo selecionado de personagens de IA, com essas atualizações programadas para serem implementadas nas próximas semanas.
Motivações por trás das Medidas Corporativas
Os compromissos corporativos recentes não surgiram de considerações de segurança proativas, mas de processos judiciais, como o caso de um adolescente nos Estados Unidos cujos pais alegam que um chatbot incentivou seu suicídio. Naomi Baron, professora emérita da American University em Washington, DC, argumenta que essas medidas corporativas, “embora sejam um passo na direção certa”, são insuficientes. Medidas como os novos controles parentais da OpenAI e os emergentes algoritmos de previsão de idade, segundo ela, “não resolverão o problema”. O que é necessário, acredita Baron, são “desincentivos para usuários de todas as idades se tornarem dependentes de programas de IA projetados para substituir humanos como fontes de companheirismo e aconselhamento.”
Embora os controles parentais possam abordar riscos imediatos, eles não enfrentam a questão mais profunda e sistêmica: a crescente dependência da IA sem estruturas legais eficazes.
Regulamentação e a Lei de IA da UE
No nível político, a Lei de IA da UE oferece uma estrutura regulatória que inclui medidas para mitigar os riscos à saúde mental impostos pelos chatbots de IA. No entanto, a atual estrutura legal da UE ainda trata tais incidentes como casos infelizes em vez de consequências previsíveis da implantação de IA conversacional poderosa sem salvaguardas suficientes.
A Lei de IA da UE não aborda adequadamente as complexidades de como os sistemas de IA realmente operam na prática. Muitos chatbots de IA ainda se enquadram na categoria de risco limitado, que apenas exige transparência básica sobre usuários interagindo com máquinas, deixando muitas preocupações sobre saúde mental sem resposta.
O Membro do Parlamento Europeu (MEP) Brando Benifei, co-relator da Lei de IA, aponta que, além dos requisitos de transparência, “sob o Capítulo II, Artigo 5 da Lei, todos os sistemas de IA devem cumprir proibições contra técnicas manipulativas intencionalmente que possam distorcer materialmente o comportamento e causar danos significativos.”
Essas disposições são relevantes para a saúde mental, pois os chatbots de IA podem manipular as emoções e comportamentos dos usuários de maneiras que afetam negativamente seu bem-estar.
Desafios de Implementação e Regulação
No entanto, o padrão de “intencionalidade” cria um ônus probatório significativo, exigindo que os reguladores tenham acesso a comunicações corporativas e documentação técnica que as empresas provavelmente não divulgarão voluntariamente. Esse tipo de informação foi revelado até agora apenas por meio de vazamentos, em vez de divulgações deliberadas.
A Lei de IA também proporciona salvaguardas mais robustas por meio de avaliações de risco abrangentes, “especificamente abordando preocupações de saúde mental”, acrescentou o MEP Benifei. Os “chatbots mais comercialmente bem-sucedidos, como o ChatGPT” estão sujeitos a obrigações para IA de propósito geral com riscos sistêmicos, “exigindo que os fornecedores avaliem e mitiguem riscos, incluindo aqueles impostos à saúde pública mental.”
Isso essencialmente significa que as empresas fornecedoras desses modelos devem testar como seus sistemas podem impactar a saúde pública, incluindo a saúde mental, identificar riscos e implementar medidas de mitigação para reduzir esses riscos antes ou como parte do lançamento do produto.
Diretrizes da Comissão Europeia
Desenvolvimentos legislativos recentes da UE destacam ainda mais a lacuna entre o reconhecimento de problemas e a implementação de salvaguardas reais. Em julho de 2025, a Comissão Europeia publicou suas diretrizes sobre a proteção de menores online. O documento promete um avanço: estabelece expectativas em torno de mecanismos de escalonamento, verificação de idade e auditoria independente para plataformas online. O problema está embutido no formato. As diretrizes são consultivas, não vinculativas.
A verificação de idade é um exemplo central. A Comissão recomenda que as empresas implementem Mecanismos de Garantia de Idade, mas não exige que o façam. O resultado é um mosaico onde alguns dos chatbots mais amplamente utilizados dependem de pouco mais que caixas de verificação perguntando aos usuários se confirmam que têm mais de 18 anos.
“A auto-declaração e as caixas de verificação parentais são facilmente contornáveis; não constituem proteção real”, afirmou a MEP Alexandra Geese, da Alemanha. “Acredito que a verificação obrigatória e eficaz deve se tornar lei para qualquer serviço de IA que interaja com crianças. A supervisão deve ser contínua, não uma certificação única.”
Existem soluções técnicas mais fortes. A UE desenvolveu um aplicativo de verificação de idade que permite aos usuários provar sua idade sem divulgar detalhes pessoais. O sistema emite atestados de idade por meio de serviços de identidade confiáveis, como eIDs nacionais, e os armazena em uma carteira segura.
No entanto, a Comissão Europeia não tornou essa ferramenta obrigatória. Sua adoção depende das plataformas que optarem por usá-la e dos estados membros alinhando suas estratégias de aplicação.
Problemas de Falsos Positivos
Além das deficiências regulatórias, quando as empresas implementam salvaguardas, tanto os desafios técnicos quanto éticos revelam por que os frameworks regulatórios não podem confiar apenas em medidas corporativas voluntárias. Sistemas de prevenção ao suicídio em chatbots de IA dependem de sistemas automatizados treinados para reconhecer pistas verbais ou emocionais que sugerem que um usuário pode estar em crise.
Quando detectam sinais de alerta, o chatbot pode compartilhar links para linhas de apoio ao crise ou, em configurações mais avançadas, escalar o caso para moderadores humanos ou até mesmo para serviços de emergência.
Os falsos negativos, onde os sistemas falham em detectar angústia genuína, podem levar a oportunidades perdidas de intervenção, resultando potencialmente em consequências graves. Os falsos positivos criam seus próprios problemas: algoritmos excessivamente sensíveis podem desencadear intervenções não justificadas, causando angústia desnecessária ou mesmo envolvendo as autoridades sem justificativa.
Os preconceitos culturais e linguísticos embutidos nesses sistemas adicionam outra camada de complexidade. Modelos de detecção treinados principalmente em certos grupos demográficos podem interpretar mal expressões culturais de angústia ou perder sinais de alerta que não se encaixam em seus padrões de treinamento.
“A automação pode ajudar a sinalizar riscos, mas sozinha não é aceitável em contextos de vida ou morte. Os fornecedores devem colocar pessoas por trás desses sistemas: revisão humana proporcional em momentos críticos, caminhos claros para linhas de ajuda e escalonamento rápido quando os sinais persistirem”, enfatizou o MEP Benifei.
O MEP Axel Voss, da Alemanha, destacou que as medidas lideradas pela indústria criam pontos cegos adicionais: “O foco muitas vezes recai sobre as maiores plataformas, enquanto aquelas menores ou menos visíveis, que podem seguir práticas mais prejudiciais, escapam da supervisão. Um vídeo prejudicial pode ser removido do TikTok apenas para ressurgir no Reddit; um chatbot pode se recusar a interagir sobre tópicos de saúde mental, enquanto outro preenche essa lacuna sem salvaguardas.”
Ele observou: “É por isso que é necessária uma regulamentação vinculativa. Um framework holístico e executável é necessário para garantir que todas as plataformas e serviços, grandes e pequenos, mantenham os mesmos padrões básicos de segurança e proteção para os usuários, especialmente menores e aqueles em situações vulneráveis.”
Conclusão
De fato, os frameworks legais precisam tratar os impactos mentais da IA mais claramente como uma crise de saúde pública, não como um exercício de responsabilidade corporativa. Isso significa padrões de segurança obrigatórios para sistemas de IA que lidam com conversas sobre saúde mental, com mecanismos de aplicação reais e design proativo, e não correções reativas após tragédias.
Como van Sparrentak coloca: “Esses sistemas são simplesmente construídos para produzir texto, não para serem psicólogos. Isso os torna perigosos. É como receber terapia de alguém que leu todos os livros do mundo, mas não necessariamente sabe tudo sobre psicologia.”
