Desafios na Governança de IA em Saúde
A rápida implementação da inteligência artificial (IA) na saúde está exposta a fraquezas na forma como as ferramentas digitais são governadas uma vez que chegam ao paciente. Embora os sistemas de IA sejam cada vez mais utilizados em diagnósticos, suporte à decisão e operações hospitalares, novas pesquisas sugerem que muitos continuam a apresentar riscos não gerenciados à segurança e à equidade dos pacientes.
Riscos de Viés e Transparência
O viés em IA na saúde não é um problema estático que pode ser resolvido na fase de design. Em vez disso, o viés evolui ao longo do tempo à medida que os sistemas encontram novas populações de pacientes, práticas clínicas em mudança e entradas de dados alteradas. Os modelos treinados em conjuntos de dados históricos podem inicialmente ter um bom desempenho, mas sua precisão e justiça podem se degradar após a implementação, especialmente para grupos sub-representados ou vulneráveis.
Em ambientes de saúde do mundo real, a demografia dos pacientes, a prevalência de doenças e os caminhos de cuidado raramente são estáveis. Quando sistemas de IA são implementados sem monitoramento contínuo, disparidades de desempenho podem surgir sem serem notadas. Muitas instituições de saúde carecem da infraestrutura, expertise ou autoridade contratual para auditar sistemas de IA após a compra, criando um ponto cego na governança.
A transparência também apresenta um desafio paralelo. Embora a explicabilidade tenha se tornado um conceito central na ética da IA em saúde, muitas ferramentas de explicação frequentemente não estão alinhadas com as necessidades clínicas e regulatórias. As explicações geradas por sistemas de IA podem satisfazer critérios técnicos, mas falham em fornecer informações significativas para os clínicos.
Segurança e Privacidade
A segurança tem sido identificada como um risco persistente e pouco abordado na governança da IA em saúde. As falhas de segurança muitas vezes surgem não de erros catastróficos, mas de desajustes graduais entre as saídas da IA e os fluxos de trabalho clínicos. Sem processos claros para reavaliar e recalibrar sistemas, esses desajustes podem acumular-se em danos clinicamente significativos.
Os riscos de privacidade complicam ainda mais esse cenário. O uso crescente de modelos adaptativos e generativos levanta preocupações sobre vazamento de dados e uso secundário não intencional de informações sensíveis de saúde. As técnicas tradicionais de anonimização podem não ser mais suficientes em uma era onde modelos podem inferir dados pessoais a partir de padrões complexos.
Supervisão Humana Eficaz
A supervisão humana deve ser operacional, e não simbólica. Muitos sistemas de IA são comercializados como ferramentas de suporte à decisão, mas a supervisão muitas vezes é mal definida. Os clínicos podem carecer do treinamento, tempo ou autoridade para desafiar as recomendações da IA de maneira significativa, especialmente em ambientes de alta pressão.
É necessário operacionalizar a supervisão humana através de direitos de decisão claros e suporte institucional. A revisão das saídas da IA deve ser significativa para garantir controle efetivo. A formação dos profissionais de saúde sobre como os sistemas de IA funcionam e como interpretar suas saídas é fundamental para garantir uma supervisão substancial.
Conclusão
O estudo destaca a necessidade de uma mudança de uma ética baseada em princípios para uma governança por design. Essa abordagem incorpora justiça, transparência, segurança e supervisão nas estruturas técnicas e organizacionais que moldam como os sistemas de IA são utilizados ao longo do tempo. A governança deve ser integrada em todas as etapas do ciclo de vida da IA.
