Como a UE Pode Impedir que Chatbots de IA Ajudem Ataques Violentos
Planejar um ataque violento nunca foi tão fácil. Em maio de 2025, um adolescente finlandês de 16 anos esfaqueou três de suas colegas de classe, um ataque que ele planejou após uma extensa conversa com um chatbot. O autor supostamente utilizou o chatbot para desenvolver um manifesto e discutir a abordagem e a estratégia do ataque.
Um relatório recente de uma organização de pesquisa confirmou que 8 em cada 10 dos chatbots de IA mais populares ajudariam um adolescente a planejar um ataque violento. Os pesquisadores testaram se o chatbot forneceria informações prejudiciais e se encorajaria a violência. Na maioria dos casos, a resposta foi sim para ambos. Além disso, a maioria dos chatbots falhou em fazer conexões entre os diferentes prompts para interromper o que claramente era um plano para violência no mundo real.
O que as leis da UE já cobrem
Atualmente, a legislação da UE apenas regula a IA generativa se estiver integrada em uma Plataforma Online Muito Grande (VLOP) ou em um Motor de Busca Online Muito Grande (VLOSE). A Comissão Europeia também está avaliando se designar um chatbot como um VLOSE, representando um primeiro passo para regular chatbots independentes.
O Ato de IA, por outro lado, regula principalmente a IA em nível de modelo. Existem obrigações de transparência para os modelos de IA de uso geral subjacentes aos chatbots, mas o Código de Prática GPAI voluntário pode fazer pouco para abordar os problemas que surgem de uma plataforma voltada para o usuário.
Riscos e Implicações
Embora as atuais discussões em torno de uma proposta abrangente de IA arrisquem minar a resposta da UE a ameaças reais da IA, é evidente que a legislação deve se concentrar no que esses serviços fazem. Se um sistema armazena entradas de usuários, produz saídas potencialmente prejudiciais e alcança milhões diariamente, deve enfrentar as mesmas obrigações que outros serviços online.
Atualmente, as regras permitem que as empresas se movam em uma zona cinza: o Ato de IA regula modelos, enquanto o DSA regula plataformas, e os chatbots ficam entre os dois. Isso permite que as empresas transfiram responsabilidades sem enfrentar obrigações equivalentes. A regulação deve se concentrar nos serviços e nos riscos que eles apresentam, especialmente para os menores.
Propostas para a UE
Para prevenir a violência facilitada por IA, a UE deve agir rapidamente. No curto prazo, os chatbots de IA podem ser tratados como provedores de hospedagem sob o DSA. Isso significa que algumas obrigações já se aplicam, incluindo mecanismos de notificação e ação e conformidade com ordens para agir contra conteúdo ilegal. Os maiores chatbots poderiam ser designados como VLOSEs, exigindo que realizem avaliações de risco e medidas de mitigação.
No entanto, essa abordagem não seria suficiente, pois as obrigações dos provedores de hospedagem são limitadas. A longo prazo, o DSA precisa de emendas direcionadas para introduzir uma nova definição e categoria especificamente para chatbots de IA, que não dependa da disseminação pública de informações.
Com as obrigações apropriadas, os chatbots poderiam ser obrigados a realizar avaliações de risco, implementar medidas de mitigação e passar por auditorias independentes anuais, trazendo a tão necessária transparência para o uso de chatbots de IA.
Conclusão
Os usuários europeus estão cada vez mais recorrendo a chatbots para busca de informações e interação. A UE possui um mecanismo legislativo forte para proteger os direitos dos usuários e sua exposição a riscos no uso da IA. Portanto, os legisladores devem agir rapidamente para implementar o Ato de IA e aplicar o DSA aos chatbots de IA, antes que se torne totalmente ineficaz.
