Los Chatbots de Salud Provocan Inquietud en los Analistas de Gobernanza de IA
Cuando un chatbot de IA sugiere añadir pegamento a una pizza, el error es obvio. Sin embargo, cuando recomienda comer más plátanos, un consejo nutricional que podría ser peligroso para alguien con insuficiencia renal, el error se esconde a plena vista.
Este riesgo ahora tiene el potencial de alcanzar a cientos de millones de usuarios con poca o ninguna supervisión regulatoria.
Recientemente, se lanzó un chatbot de salud que permite a los usuarios conectar registros médicos y aplicaciones de bienestar para obtener orientación personalizada. Se informa que más de 230 millones de personas hacen preguntas de salud semanalmente, con 40 millones de usuarios diarios buscando consejos médicos.
Incertidumbre en los Modelos de IA
Incluso algunos expertos en IA son escépticos. Los modelos de IA generan texto de manera probabilística y no saben cuándo carecen de suficiente información. No están intrínsecamente calibrados para expresar incertidumbre y no tienen una noción interna de lo que es «correcto» o «incorrecto». Simplemente son muy buenos produciendo texto que suena plausible y autoritativo, incluso cuando no lo es.
El uso de chatbots para propósitos de salud amplifica el riesgo a través de lo que se describe como asimetría de verificación. En programación, una respuesta errónea suele fallar rápidamente, pero en medicina, la orientación depende del contexto específico del paciente, que el sistema generalmente no tiene. La salud está llena de «depende», lo que facilita que una IA suene razonable mientras sigue siendo contextualizada incorrectamente, y mucho más difícil para los usuarios verificar independientemente la respuesta.
Evaluaciones de Seguridad de IA
Las evaluaciones estándar de seguridad de IA pueden no detectar las salidas de mayor riesgo. La mayoría se centra en señales superficiales como violaciones explícitas de políticas, errores fácticos o palabras clave de crisis, mientras que premia la fluidez y la empatía. Esto significa que los consejos sutilmente engañosos pueden pasar los chequeos de seguridad.
Necesidad de Supervisión Humana
Las organizaciones de salud requieren altos niveles de precisión. El consejo médico no puede tolerar el «nonsense coherente» que es aceptable en dominios menos críticos. Detectar consejos engañosos contextualmente requiere supervisión humana para identificar problemas sutiles que los modelos de IA pasan por alto, sacar a la luz problemas ocultos y reconstruir la confianza tras errores de IA.
Los modelos de lenguaje, al estar diseñados para ser coherentes y útiles, tienden a reforzar la información anterior en lugar de cuestionarla. Los riesgos a menudo son implícitos e interaccionales, surgiendo de lo que se omite y cómo se suaviza la incertidumbre.
Guardias Técnicas y Marco de Responsabilidad
Una de las guardias técnicas más impactantes es la citación obligatoria. Se necesitan sistemas que no solo respondan, sino que también estén obligados a destacar la fuente médica específica que respalda la respuesta. En el lado no técnico, se aboga por una fricción en el producto, mostrando respuestas difuminadas hasta que los usuarios reconozcan los descargos de responsabilidad.
Actualmente, el marco de responsabilidad está sin resolver. Existe un vacío de gobernanza que podría crear riesgos estratégicos para las organizaciones que implementan IA en salud. Actualmente no hay una legislación federal unificada ni un estándar de la industria que gobierne los chatbots de salud para consumidores. Mientras que el gobierno promueve la adopción de IA a través de iniciativas, estos esfuerzos se centran en acelerar la innovación en lugar de imponer guardas.
