Mejorando la Supervisión Regulatoria de la IA Médica
Consideremos una tecnología que puede identificar tumores cerebrales pediátricos más rápido que un humano. Ese futuro ha llegado. Dos tercios de los profesionales de la salud informaron haber incorporado inteligencia artificial (IA) en su trabajo en un estudio reciente. Sin embargo, muchos clínicos también expresaron la necesidad de “una mayor supervisión” de la IA médica.
La Necesidad de una Supervisión Mejorada
Se argumenta que la supervisión actual de la IA médica depende demasiado de un “humano en el bucle”, un enfoque que requiere que los clínicos revisen e incorporen cada recomendación de IA de manera segura y efectiva. Se sostiene que la mayoría de los clínicos carecen de la experiencia o el tiempo para evaluar la IA médica, y se hace un llamado a los legisladores para desarrollar estructuras regulatorias que promuevan una IA médica segura y efectiva sin depender de los clínicos individuales.
Se señala que la IA médica requiere supervisión debido a defectos de diseño “básicos”. Un estudio encontró que un algoritmo entrenado para detectar neumonía a partir de radiografías funcionaba bien en el hospital donde se desarrolló, pero fallaba en otros hospitales, ya que había aprendido a detectar características que reflejaban el entorno físico original del hospital en lugar de los síntomas de los pacientes.
Además, se observa que el sesgo agrava estos defectos de diseño. Menos del cinco por ciento de los sistemas de IA aprobados por la FDA entre 2012 y 2020 divulgaron la demografía racial en sus conjuntos de datos, lo que aumenta el riesgo de que datos de entrenamiento no representativos empeoren los resultados para grupos raciales minoritarios.
Estructuras Regulatorias Actuales
Las estructuras regulatorias actuales abordan estos defectos de diseño y sesgos a través de dos capas de gobernanza: central y local. A nivel central, las agencias federales y organizaciones médicas desarrollan marcos y reglas nacionales para monitorear y probar la IA médica. Por ejemplo, la FDA exige que muchos sistemas de IA cumplan con estándares de seguridad y eficacia antes de ingresar al mercado. Sin embargo, la guía actual de la FDA enfatiza que las recomendaciones de IA deben equipar a los clínicos con “información específica del paciente” para que puedan “revisar la base de cada recomendación y aplicar su propio juicio al tomar decisiones finales”. Esto deja una responsabilidad significativa de gobernanza a los clínicos individuales.
En la gobernanza local, la supervisión se traslada a los hospitales que prueban sistemas de IA dentro de sus propios entornos clínicos. Sin embargo, esta gobernanza local exige una gran experiencia, infraestructura y recursos de personal, requisitos que muchos hospitales más pequeños o con menos fondos no pueden cumplir sin recurrir a sus clínicos, ya que carecen de personal de apoyo.
Desafíos para los Clínicos
Se enfatiza que tanto la gobernanza central como la local de la IA médica convergen en el punto de atención, donde los clínicos siguen siendo la última línea de defensa contra los errores algorítmicos. Se explica que los clínicos a menudo desempeñan un “papel correctivo”, verificando errores, ajustando factores “específicos de la situación” e identificando sesgos. Sin embargo, se ha encontrado que los clínicos a menudo no logran identificar modelos defectuosos o sesgados, incluso cuando se les proporcionan herramientas explicativas para hacer visibles los problemas.
La dificultad de los clínicos para supervisar la IA médica se atribuye a brechas en el conocimiento. Muchos clínicos carecen de familiaridad con los principios generales de IA o el sesgo sistemático. Aunque este problema mejorará con el tiempo a medida que las escuelas de medicina incorporen lecciones sobre IA en sus currículos, se argumenta que la tendencia a confiar en las recomendaciones de IA y a ignorar la información contradictoria generada sin automatización, conocida como sesgo de automatización, seguirá nublando la capacidad de los clínicos para evaluar la precisión de recomendaciones individuales de IA en situaciones de alta presión.
Asimismo, las cargas de trabajo limitan aún más la capacidad de supervisión de los clínicos individuales. Se advierte que la naturaleza “acelerada” del sistema de salud moderno, más prevalente en entornos menos financiados, deja poco espacio para el tipo de supervisión cuidadosa que los marcos de gobernanza actuales esperan lograr.
Soluciones Propuestas
Se ofrece una solución a corto plazo: cuando los clínicos permanecen en el bucle, los reguladores y hospitales deben definir roles claros y limitados para los clínicos, de modo que la supervisión de la IA médica no comprometa otras responsabilidades ni los ponga en una situación de fracaso. Además, se propone un apoyo institucional como capacitación y monitoreo continuo para ayudar a los clínicos a supervisar el uso seguro y efectivo de la tecnología de IA.
Sin embargo, también se propone un marco a largo plazo en el que la IA médica funcione sin depender de la supervisión constante de los clínicos. Se alienta a los reguladores y organizaciones médicas a evaluar los sistemas de IA como herramientas independientes capaces de operar en entornos con experiencia médica limitada. Tales sistemas, se argumenta, reducirían la dependencia de clínicos sobrecargados, podrían expandir el acceso a la atención y “democratizar” la experiencia médica al requerir menos financiación.
Para lograr esta transición, se insta a la FDA y a las organizaciones médicas a adoptar métodos de evaluación que prueben el desempeño de la IA con mínima supervisión de los clínicos. Se sostiene que la FDA debería exigir a los desarrolladores evaluar el uso potencial de los sistemas de IA al buscar la aprobación de productos. Una vez que los productos de IA médica lleguen al mercado, se argumenta que expertos pueden realizar “verificaciones aleatorias” o auditar muestras aleatorias con el tiempo para asegurar que los programas funcionen como se espera.
Reconociendo los desafíos que se avecinan, se concluye que la IA médica solo mejorará los resultados de salud si los marcos de supervisión anticipan las limitaciones clínicas en lugar de asumir un rendimiento perfecto por parte de los clínicos.
