Opinión: Preocupaciones sobre ChatGPT Health en Australia respecto a los consejos de IA y la falta de regulación
Existen numerosos puntos de acceso a ChatGPT Health con una sola búsqueda. Se trata de un servicio de chat que ofrece una variedad de servicios relacionados con problemas médicos para los consumidores.
El reciente lanzamiento de ChatGPT Health se presenta como un servicio de información general, pero los marcos de referencia son amplios. Es una interfaz para información general, que puede ser y ha sido interpretada como consejo.
Un artículo sobre ChatGPT Health destaca de manera clara y alarmante lo que puede salir mal, incluyendo un caso de alguien que tomó bromuro de sodio en lugar de sal de mesa.
El problema
La IA se basa en los datos disponibles para procesar solicitudes. Sin embargo, los datos disponibles sobre el bromuro de sodio son mínimos y preocupantes. Incluso los fabricantes parecen tener información limitada.
La información general que la IA puede acceder es adecuada para una visión general casual, pero no para un nivel diagnóstico. Incluye información sobre seguridad y toxicidad.
Este caso específico ilustra cómo una persona terminó en el hospital tras tomar bromuro de sodio, que incluye alucinaciones en la información de toxicidad básica. La pregunta es cómo esta persona llegó a pensar que el bromuro de sodio era un sustituto de la sal de mesa, quizás por el hecho de que ambos contienen sodio.
El alcance del problema
Este es un claro ejemplo de “exceso de alcance de la IA”. En el caso del consumidor, sobrepasó su propio conocimiento. Este tipo de información no puede traducirse en una solución rápida para la sal de mesa o cualquier otro producto.
En el caso de ChatGPT Health, es un grave exceso de alcance. Es una cosa simplemente recitar información fáctica; transformar esa información en consejo médico está fuera de discusión.
Una de las razones por las cuales la salud en línea ha prosperado es que se supone que ofrece un servicio similar al que recibirías de un médico. Es rápido, eficiente, ahorra tiempo y dinero, y nadie tiene que arriesgar su vida en el tráfico para tratar un resfriado.
Los servicios de salud basados en IA están inevitablemente fuera de su profundidad en estas funciones básicas y no están sujetos al mismo nivel de supervisión.
Regulación
La regulación podría ser más sencilla de lo que parece. Bajo la legislación australiana, una empresa médica no puede proporcionar servicios médicos y tampoco es una persona jurídica. Estas son distinciones importantes.
¿Cómo podría una IA proporcionar los mismos servicios? La IA tampoco es una persona jurídica. Esto podría extenderse a cualquier forma de consejo médico.
Como activo terapéutico, la IA podría estar regulada por la Administración de Bienes Terapéuticos. Solo podría operar bajo regulaciones terapéuticas generales, con diversas salvaguardas incorporadas.
¿Por qué regular?
Porque de lo contrario, cualquier producto pseudo-médico peligroso puede entrar en la cadena alimentaria. Hay riesgos serios de daños mayores. La situación en América respecto a los medicamentos, regulados o no, demuestra que el riesgo es demasiado alto.
Olvidemos el “el comprador debe tener cuidado”. ¿Por qué el comprador de algo debe tener cuidado en absoluto? ¿Qué hay de malo en tener la obligación de comercializar productos seguros?
Un aviso que diga “este producto podría exterminar a toda tu familia” puede ser noble y alentador, pero ¿por qué necesitas eso? ¿Te dice “puede contener plutonio” lo suficiente?
En el caso del bromuro de sodio, es razonable asumir que nadie consideró seriamente que fuera un sustituto de la sal de mesa. No deberías necesitar que te lo digan, pero aquí hay un caso documentado de exactamente eso.
Conclusión
La IA está destinada a ser una parte crítica de la medicina. Necesita ser segura.
Nota: Las opiniones expresadas en este artículo son del autor y no reflejan las opiniones o puntos de vista de ninguna organización o publicación.
