Opinião: A saúde do ChatGPT na Austrália levanta preocupações sobre conselhos de IA e falta de regulamentação
Existem muitos pontos de acesso ao ChatGPT Health com uma única busca. Trata-se de um serviço de chat que oferece uma gama de serviços relacionados a questões médicas para os consumidores.
O recente lançamento do ChatGPT Health é “apenas” um serviço de informação geral, mas os quadros de referência são enormes. É uma interface para informações gerais, que pode ser e tem sido interpretada como conselho.
Um artigo que discute o ChatGPT Health destaca de forma clara e alarmante o que pode dar errado e o que já deu errado, notavelmente um caso de alguém tomando brometo de sódio em vez de sal de mesa.
Problemas com a IA
A IA utiliza dados disponíveis para processar solicitações. Os dados disponíveis para brometo de sódio são mínimos e alarmantes. Até mesmo os fabricantes parecem ter apenas informações limitadas.
Os dados gerais de busca são adequados para uma visão superficial, mas estão longe de serem suficientes para um nível diagnóstico. Eles incluem informações de segurança e toxicidade, mas a falta de dados disponíveis é preocupante.
O problema é claro: um usuário tomou brometo de sódio, começou a ter alucinações e acabou no hospital. A informação sobre toxicidade incluía alucinações, mas não era suficiente para evitar o erro.
O alcance da IA
Esse caso ilustra um fenômeno que pode ser descrito como “ultrapassagem da IA”. O consumidor ultrapassou enormemente sua própria base de conhecimento. Esse tipo de informação não pode ser rapidamente traduzido em uma solução para o sal de mesa ou qualquer outra coisa.
No caso do ChatGPT Health, é uma enorme ultrapassagem. É uma coisa simplesmente recitar informações factuais. Transpor esse nível de informação para qualquer tipo de conselho médico é inaceitável.
Uma das razões pelas quais a saúde online se popularizou é porque deveria oferecer um serviço semelhante ao que se obtém de um médico. É rápido, eficiente, economiza tempo e dinheiro para ambas as partes, e ninguém precisa arriscar a vida no trânsito para tratar um resfriado.
Serviços de saúde baseados em IA estão inevitavelmente fora de profundidade em funções básicas. Eles não estão sujeitos ao mesmo nível de escrutínio que um médico e um paciente.
Regulamentação
A regulamentação poderia ser mais fácil do que parece. Segundo a legislação, uma empresa médica não pode fornecer serviços médicos, nem é uma pessoa jurídica. Essas distinções são muito importantes.
Como uma IA poderia fornecer os mesmos ou serviços semelhantes? A IA também não é uma pessoa jurídica. Isso pode se estender a qualquer forma de conselho médico.
Como um ativo terapêutico, a IA poderia ser regulamentada pela Administração de Bens Terapêuticos. Ela poderia operar sob regulamentos terapêuticos gerais, com várias salvaguardas. A interpretação razoável de “terapia” pode facilmente incluir serviços de aconselhamento.
Por que regulamentar?
Porque, caso contrário, qualquer produto pseudo-médico perigoso pode entrar no mercado. Há riscos sérios de danos significativos. A regulamentação é necessária para garantir que produtos seguros sejam comercializados.
Um aviso dizendo “este produto pode exterminar sua família inteira” pode ser nobre, mas por que o comprador precisa ser alertado sobre isso? Por que não é uma obrigação comercializar produtos seguros?
No caso do brometo de sódio, é razoável supor que ninguém considerou seriamente que ele poderia ser um substituto para o sal de mesa. Essa é uma situação que não deveria ocorrer.
A IA está destinada a ser uma parte crítica da medicina. É necessário que ela seja segura.
