Aprimorando a Supervisão Regulamentar da IA Médica
Considere uma tecnologia que pode identificar tumores cerebrais pediátricos mais rapidamente do que um ser humano. Esse futuro já chegou. Dois terços dos profissionais de saúde relataram a incorporação da inteligência artificial (IA) em seu trabalho. No entanto, muitos clínicos expressaram a necessidade de “aumentar a supervisão” da IA médica.
Desafios da Supervisão Atual
A supervisão atual da IA médica baseia-se excessivamente em um “humano no circuito”, exigindo que clínicos individuais revisem e incorporem cada recomendação da IA de maneira segura e eficaz. A maioria dos clínicos não possui a experiência ou o tempo para avaliar a IA médica, levando à necessidade de estruturas regulatórias que promovam uma IA médica segura e eficaz, sem depender de clínicos individuais.
Estudos mostram que algoritmos treinados para detectar doenças podem ter um desempenho excelente em um hospital, mas falham em outros. Isso ocorre porque o algoritmo pode ter aprendido a detectar características que refletem o ambiente físico do hospital original, em vez dos sintomas dos pacientes.
A falta de representatividade nos dados de treinamento da IA também é uma preocupação. Menos de cinco por cento dos sistemas de IA aprovados pela FDA entre 2012 e 2020 divulgaram dados demográficos raciais, aumentando o risco de resultados prejudiciais para grupos raciais minoritários.
Estruturas de Governança
A atual estrutura regulatória aborda essas falhas de design e preconceitos por meio de duas camadas de governança: central e local.
No nível central, agências federais e organizações médicas desenvolvem estruturas e regras nacionais para monitorar e testar a IA médica. Por exemplo, a FDA exige que muitos sistemas de IA atendam a padrões de segurança e eficácia antes de serem autorizados no mercado. No entanto, a orientação atual da FDA enfatiza que as recomendações da IA devem fornecer “informações específicas do paciente”, deixando uma responsabilidade significativa de governança para os clínicos individuais.
A governança local, por sua vez, transfere a supervisão para hospitais que testam sistemas de IA em seus próprios ambientes clínicos. Este modelo exige recursos substanciais de expertise e infraestrutura, que muitos hospitais menores ou com financiamento insuficiente não conseguem atender.
O Papel dos Clínicos
Os clínicos frequentemente desempenham um papel corretivo, verificando erros e ajustando fatores específicos da situação. No entanto, estudos mostram que muitos clínicos falham em identificar modelos falhos ou preconceituosos, mesmo quando recebem ferramentas explicativas.
As lacunas de conhecimento dos clínicos em princípios gerais de IA e preconceitos sistemáticos contribuem para essa dificuldade. Embora essa situação melhore com a inclusão de lições sobre IA nos currículos das escolas de medicina, a tendência de confiar nas recomendações da IA e ignorar informações contraditórias continuará a dificultar a avaliação da precisão das recomendações individuais em situações de alta pressão.
Soluções Propostas
Uma solução de curto prazo é que, quando os clínicos estiverem envolvidos, reguladores e hospitais definam papéis claros e limitados para eles na supervisão da IA médica, evitando que essa responsabilidade comprometa outras obrigações. Além disso, é necessário oferecer suporte institucional, como treinamento e monitoramento contínuo.
Para um quadro de longo prazo, deve-se considerar que a IA médica funcione sem depender da supervisão constante dos clínicos. Sistemas de IA independentes podem reduzir a dependência de clínicos sobrecarregados e democratizar a expertise médica, exigindo menos financiamento.
Para alcançar essa transição, é necessário que a FDA e organizações médicas adotem métodos de avaliação que testem o desempenho da IA com supervisão mínima dos clínicos. Após a entrada no mercado, especialistas podem realizar auditorias aleatórias para garantir que os programas funcionem conforme o esperado.
Conclusão
Reconhecendo os desafios à frente, a IA médica só melhorará os resultados de saúde se os frameworks de supervisão anteciparem as limitações clínicas, em vez de assumir o desempenho perfeito dos clínicos.
