Chatbots de Saúde Provocam Inquietação entre Analistas de Governança de IA
Quando um chatbot de IA sugere adicionar cola à pizza, o erro é óbvio. Quando recomenda comer mais bananas — um conselho nutricional sensato que pode ser perigoso para alguém com insuficiência renal — o erro se esconde à vista de todos.
Esse é um risco que agora pode alcançar centenas de milhões de usuários com pouca ou nenhuma supervisão regulatória.
Recentemente, uma nova plataforma de saúde foi lançada, permitindo que os usuários conectem registros médicos e aplicativos de bem-estar para orientações personalizadas. A empresa afirmou que mais de 230 milhões de pessoas fazem perguntas sobre saúde semanalmente, com 40 milhões de usuários diários buscando conselhos médicos.
Riscos e Preocupações
Até mesmo alguns especialistas em IA estão céticos. Eles apontam que o que é inerente aos modelos é a geração probabilística do próximo token. Os modelos não sabem naturalmente quando carecem de informações suficientes e não têm uma noção interna do que é “certo” ou “errado”. Eles são simplesmente muito bons em produzir texto que parece plausível e autoritário, mesmo quando não é.
O uso de chatbots para fins de saúde amplifica o risco através do que é descrito como assimetria de verificação. Na programação, uma resposta ilusória frequentemente falha rapidamente: o código não compila ou não é executado. Na medicina, a orientação é altamente condicional e depende do contexto específico do paciente, que o sistema geralmente não possui.
Avaliações de Segurança de IA
A avaliação padrão de segurança da IA pode falhar em detectar as saídas de maior risco. A maioria das avaliações foca em sinais superficiais como violações explícitas de políticas, erros factuais ou palavras-chave de crise, enquanto recompensa a fluência e a empatia. Isso significa que conselhos sutilmente enganosos podem passar pelos testes de segurança.
As organizações de saúde exigem altos níveis de precisão. O conselho médico não pode tolerar o “nonsense coerente” que é aceitável em domínios menos críticos. Detectar conselhos contextualmente enganosos requer supervisão humana, identificando problemas sutis que os modelos de IA não percebem.
Implicações e Conclusão
Os riscos são frequentemente implícitos e interacionais, surgindo do que é omitido e como a incerteza é suavizada. A segurança dos modelos é frequentemente priorizada em relação a seguir regras estritas, especialmente quando os usuários compartilham medo, dor ou trauma.
A estrutura de responsabilidade ainda é indefinida. Atualmente, existe uma grande área cinzenta em relação à governança de chatbots de saúde. Embora haja iniciativas governamentais para promover a adoção de IA, essas se concentram em acelerar a inovação em vez de impor restrições. Os chatbots de saúde operam em um ambiente de governança fragmentado, com limitações proativas mínimas hoje.
