Bias, seguridad y brechas de responsabilidad en los sistemas de IA en salud
El despliegue acelerado de la inteligencia artificial (IA) en el ámbito de la salud está exponiendo debilidades en la gobernanza de las herramientas digitales una vez que llegan al paciente. Aunque los sistemas de IA se utilizan cada vez más en diagnósticos, apoyo en la toma de decisiones y operaciones hospitalarias, investigaciones recientes sugieren que muchos continúan presentando riesgos no gestionados para la seguridad y la equidad de los pacientes. Según un estudio, estos riesgos persisten no porque falten principios éticos, sino porque los mecanismos de gobernanza se implementan de manera deficiente.
Riesgos de sesgo y transparencia tras el despliegue
El sesgo en la IA de salud no es un problema estático que se pueda resolver en la etapa de diseño. En cambio, el sesgo evoluciona con el tiempo a medida que los sistemas interactúan con nuevas poblaciones de pacientes, prácticas clínicas cambiantes y datos variables. Los modelos entrenados con conjuntos de datos históricos pueden funcionar bien inicialmente, pero su precisión y equidad pueden degradarse tras el despliegue, especialmente para grupos subrepresentados o vulnerables.
El estudio destaca que muchas instituciones de salud carecen de la infraestructura, la experiencia o la autoridad contractual para auditar los sistemas de IA después de su compra. Esto crea un punto ciego en la gobernanza donde las herramientas continúan influyendo en las decisiones clínicas a medida que su fiabilidad cambia.
La transparencia presenta un desafío paralelo. Aunque la explicabilidad se ha convertido en un concepto central en la ética de la IA en salud, los autores encuentran que las herramientas de explicabilidad a menudo no se alinean con las necesidades clínicas y regulatorias reales. Las explicaciones generadas por los sistemas de IA pueden cumplir con estándares técnicos, pero no ofrecen información significativa para los clínicos que deben justificar decisiones ante pacientes o reguladores.
Seguridad, privacidad y brechas de responsabilidad
La seguridad se ha identificado como un riesgo persistente y poco atendido en la gobernanza de la IA en salud. Las fallas de seguridad, señalan los autores, a menudo no surgen de errores catastróficos del sistema, sino de desajustes graduales entre las salidas de la IA y los flujos de trabajo clínicos. Los cambios en el personal, los protocolos o las poblaciones de pacientes pueden modificar cómo se interpretan y actúan las recomendaciones de la IA.
Además, la responsabilidad por la seguridad de la IA a menudo es poco clara. Los desarrolladores pueden argumentar que los sistemas funcionan como se diseñaron, mientras que los proveedores de salud asumen que la aprobación regulatoria garantiza la seguridad continua. Esta difusión de responsabilidad crea lo que los autores describen como una brecha de responsabilidad. Cuando ocurren resultados adversos, a menudo es difícil determinar quién tiene la autoridad y la obligación de intervenir o retirar un sistema de IA de uso.
Los riesgos de privacidad complican aún más este panorama. El uso creciente de modelos adaptativos y generativos plantea preocupaciones sobre la filtración de datos y el uso secundario no intencionado de información sanitaria sensible. Las técnicas de anonimización tradicionales ya no son suficientes en una era en la que los modelos pueden inferir o reconstruir datos personales a partir de patrones complejos.
La supervisión humana debe ser operativa, no simbólica
El estudio también destaca la brecha entre el concepto de supervisión humana y su implementación en los sistemas de IA en salud. Muchos de estos sistemas se comercializan como herramientas de apoyo a la decisión que mantienen a los clínicos «dentro del proceso». Sin embargo, en la práctica, la supervisión a menudo está mal definida. Los clínicos pueden carecer de la formación, el tiempo o la autoridad para cuestionar significativamente las recomendaciones de la IA, especialmente en entornos de alta presión.
Los autores argumentan que la supervisión humana debe operacionalizarse a través de derechos de decisión claros, vías de escalamiento y apoyo institucional. Simplemente requerir que un humano revise una salida de IA no garantiza un control significativo si esa revisión es superficial o restringida por presiones de flujo de trabajo. Es necesaria una comprensión de las limitaciones del sistema y acceso a información de rendimiento para que la supervisión sea efectiva.
Hacia una gobernanza por diseño en la IA en salud
El estudio aboga por un cambio de la ética basada en principios a la gobernanza por diseño. Este enfoque integra la equidad, la transparencia, la seguridad y la supervisión en las estructuras técnicas y organizativas que moldean cómo se utilizan los sistemas de IA a lo largo del tiempo. La gobernanza debe integrarse en cada etapa del ciclo de vida de la IA, desde la evaluación previa al despliegue hasta las estrategias de implementación alineadas con los flujos de trabajo clínicos y un monitoreo continuo que rastree el rendimiento en diferentes grupos de pacientes.
Los autores notan que los marcos emergentes en Europa y otros lugares se están moviendo hacia una supervisión basada en el ciclo de vida de la IA. Sin embargo, advierten que la regulación por sí sola no resolverá las fallas en la gobernanza a menos que las instituciones de salud desarrollen la capacidad interna para gestionar eficazmente los sistemas de IA.
