Opinion : Les inquiétudes concernant ChatGPT Health en Australie face aux conseils d’IA et au manque de réglementation
Il existe de nombreux points d’accès à ChatGPT Health avec une seule recherche. Il s’agit d’un service de chat qui propose une gamme de services liés aux problèmes médicaux pour les consommateurs.
Le lancement récent de ChatGPT Health est « juste » un service d’information générale, mais les cadres de référence sont énormes. C’est une interface pour des informations générales, qui peuvent être interprétées comme des conseils.
Un article sur ChatGPT Health souligne clairement et de manière alarmante ce qui peut mal tourner, notamment un cas où une personne a pris du bromure de sodium au lieu de sel de table.
Problèmes rencontrés
Pour expliquer ce problème de manière succincte : l’IA s’appuie sur des données disponibles pour traiter les demandes. Les données disponibles pour le bromure de sodium sont minimales et médiocres. Même les fabricants semblent avoir peu d’informations à leur disposition.
L’IA ne peut voir que :
- Données de recherche générale. C’est acceptable pour un aperçu général, mais à peine au niveau d’un diagnostic. Cela inclut des informations sur la sécurité et la toxicité.
- Informations sur le produit, telles qu’elles sont. Notez les nombreuses entrées « Pas de données disponibles » sur cette fiche d’information.
Ainsi, cette personne prend du bromure de sodium, commence à halluciner et finit à l’hôpital. Ironiquement, les informations sur la toxicité dans la recherche de base incluent des hallucinations.
Les enjeux majeurs
Le principal problème est que cela représente un « excès de pouvoir de l’IA ». Dans ce cas, le consommateur a largement dépassé ses propres connaissances. Ce type d’information ne peut pas se traduire en solution rapide pour le sel de table ou quoi que ce soit d’autre.
Dans le cas de ChatGPT Health, il s’agit d’un énorme dépassement. Il est une chose de simplement énoncer des informations factuelles. Transposer ce niveau d’information en quelque sorte de conseils médicaux est hors de question.
Une des raisons pour lesquelles la santé en ligne a décollé est parce qu’elle est censée être fondamentalement le même service que celui que vous obtiendriez d’un médecin généraliste. C’est rapide, efficace, cela fait gagner du temps et de l’argent aux deux parties, et personne n’a à risquer sa vie dans la circulation pour traiter un rhume.
Les services de santé basés sur l’IA comme celui-ci sont inévitablement dépassés dans ces fonctions de base. Ils ne sont pas soumis au même niveau de scrutin bilatéral.
Un médecin généraliste et un patient pourraient simplement regarder les mêmes informations de l’IA et décider s’ils croient ou font confiance à ces informations.
Le bromure de sodium n’aurait certainement pas passé ce niveau de scrutiny très basique. Un agent désinfectant pour piscine comme sel de table ? Peut-être pas.
Réglementation
La réglementation pourrait être plus facile qu’il n’y paraît. Selon la loi australienne, une entreprise médicale ne peut pas fournir de services médicaux. Elle n’est pas non plus une personne juridique. Ce sont des distinctions très importantes.
Alors, comment une IA pourrait-elle fournir les mêmes services ? L’IA n’est pas non plus une personne juridique. Cela pourrait bien s’étendre à toute forme de conseils médicaux.
En tant qu’atout thérapeutique, l’IA pourrait être réglementée par l’Administration des produits thérapeutiques. Elle ne pourrait fonctionner que sous des réglementations thérapeutiques générales, avec un certain nombre de garanties intégrées. Notez que l’interprétation raisonnable de « thérapie » peut facilement inclure des services de conseil.
Pourquoi réglementer ?
Parce que sinon, tout produit pseudo-médical dangereux peut entrer dans la chaîne alimentaire. Parce qu’il y a de sérieux risques de dommages majeurs. Regardez combien de soucis les États-Unis ont avec ses médicaments, qu’ils soient réglementés ou non. Le risque est trop élevé.
Oubliez « l’acheteur doit se méfier ». Pourquoi l’acheteur de quoi que ce soit devrait-il se méfier de quoi que ce soit ? Qu’est-ce qui ne va pas avec une obligation de commercialiser des produits sûrs ?
Un autocollant d’avertissement disant « ce produit pourrait exterminer toute votre famille » peut être noble et édifiant et dire à quel point les fabricants sont gentils, mais pourquoi en avez-vous besoin ? « Peut contenir du plutonium » vous dit-il suffisamment ?
Dans le cas du bromure de sodium, il est juste de supposer que personne n’a sérieusement considéré qu’il était un substitut au sel de table. Vous ne devriez pas avoir besoin de vous le faire dire, mais voici un cas documenté de cela.
L’IA est destinée à être une partie critique de la médecine. Elle doit être sûre.
Avis
Les opinions exprimées dans cet article d’opinion sont celles de l’auteur. Elles ne prétendent pas refléter les opinions ou les vues d’une publication ou de ses membres.
