5 Etapas para uma Governança Eficaz de Escritores de IA
Ferramentas de IA ambiental estão provando seu valor na redução do estresse dos clínicos e da carga de documentação, mas existem riscos associados ao seu uso. Um novo estudo oferece algumas dicas sobre como garantir que sejam governadas e utilizadas de forma eficaz e segura.
Principais Conclusões
As organizações de saúde estão adotando com entusiasmo ferramentas de IA ambiental como uma forma de capturar o encontro entre médico e paciente, reduzindo o estresse, o burnout e a pressão administrativa sobre os clínicos.
Alguns se preocupam que a governança esteja superando a adoção e que os líderes de saúde não estejam preparando adequadamente seus clínicos para o uso seguro dessas ferramentas. Uma governança sólida e monitoramento podem ajudar os líderes de saúde a reduzir o risco de erros na transcrição, violações da HIPAA e potenciais danos tanto aos pacientes quanto aos provedores.
As ferramentas de IA ambiental podem ser muito populares na saúde atualmente, mas essa rápida adoção pode expor os provedores de saúde a riscos. Um novo estudo da Universidade de Columbia conclui que os escritores de IA estão provando seu valor na redução do estresse e do burnout dos clínicos ao aliviar as cargas de documentação. No entanto, esse potencial deve ser ponderado em relação ao risco de erros de documentação, preocupações com a privacidade e a falta de transparência.
Preocupações Principais
O estudo cita quatro preocupações principais relacionadas aos escritores de IA:
- Alucinações: Ferramentas de IA podem gerar conteúdo impreciso ou até fictício, como diagnósticos ou estudos de caso inexistentes. Isso é especialmente verdadeiro se um escritor não estiver treinado na linguagem de uma especialidade específica.
- Omissões: Um escritor pode não conseguir acompanhar toda a conversa, especialmente se várias pessoas estiverem falando ao mesmo tempo, e pode perder informações vitais.
- Interpretações Erradas: Alguns escritores de IA podem não estar treinados para entender jargões médicos ou o contexto relacionado a especialidades como pediatria ou saúde mental. Eles também não conseguem acompanhar comunicações não verbais, incluindo gestos e sinais visuais de desconforto ou estresse.
- Identificação Errada de Falantes: Se houver várias pessoas na sala, como durante um exame pediátrico, o escritor pode não conseguir acompanhar quem está falando. Além disso, sistemas de reconhecimento de fala que sustentam escritores de IA podem ter dificuldade com falantes afro-americanos, resultando em taxas de erro mais altas.
Uma preocupação chave é que os escritores de IA ambiental não estão equipados para diferenciar o que deve ser incluído no registro médico e o que pode ser deixado de fora. O estudo citou pesquisas que indicaram que cerca de metade dos problemas dos pacientes e 21% das intervenções de cuidados discutidas por enfermeiros de cuidados domiciliares e pacientes não são registradas no EHR.
Outras Questões
Outras preocupações incluem a natureza de “caixa preta” desses sistemas, onde os algoritmos subjacentes não são restritos por conhecimentos médicos estabelecidos, dificultando a compreensão de como chegam a conclusões específicas ou preveem quando erros podem ocorrer. Isso torna desafiador identificar potenciais preconceitos dentro do sistema e garantir a confiabilidade da documentação gerada.
Além disso, as ferramentas de IA podem estar levando a expectativas aumentadas, como visto em vários sistemas de saúde que descobriram que os médicos não estavam encontrando benefícios significativos ao usá-las. As organizações de saúde podem responder aumentando as expectativas de volume de pacientes com base nos ganhos de eficiência prometidos, criando um paradoxo de carga de trabalho onde pequenas economias de tempo são compensadas por maiores demandas e a carga cognitiva de revisar erros gerados pela IA.
Garantindo que a Governança Esteja em Primeiro Lugar
A chave, portanto, é garantir que as barreiras sejam implementadas para o uso de escritores de IA nos cuidados clínicos. Para isso, o estudo oferece cinco recomendações:
- Estabelecer padrões rigorosos de validação: Utilize métricas independentes e padronizadas para precisão, completude e tempo economizado.
- Exigir transparência: Certifique-se de que os fornecedores divulguem como essas ferramentas funcionam, quais dados estão utilizando e suas limitações, incluindo preconceitos, e insista em relatórios regulares das taxas de erro.
- Desenvolver estruturas regulatórias claras: Defina responsabilidade e responsabilidade quando erros forem encontrados, e estabeleça expectativas claras para a correção de erros.
- Implementar protocolos clínicos cuidadosos: Estabeleça programas de treinamento robustos, processos de garantia de qualidade e protocolos de consentimento do paciente para o uso de escritores de IA. Os programas de treinamento devem incluir como os clínicos auditam seu conteúdo, monitoram erros, verificam a precisão clínica e editam mantendo a precisão.
- Investir em pesquisa: Reserve fundos para apoiar pesquisas independentes sobre os impactos a longo prazo dos escritores de IA na qualidade, na tomada de decisões clínicas e na comunicação, incluindo avaliações específicas de disciplina e especialidade.
