Les chatbots de santé suscitent des inquiétudes chez les analystes de la gouvernance de l’IA
Lorsque un chatbot d’IA suggère d’ajouter de la colle sur une pizza, l’erreur est évidente. Mais lorsque celui-ci recommande de manger plus de bananes, un conseil nutritionnel qui pourrait être dangereux pour une personne atteinte d’insuffisance rénale, l’erreur se cache à la vue de tous. C’est un risque qui est désormais sur le point d’atteindre des centaines de millions d’utilisateurs avec peu ou pas de réglementation.
Récemment, une entreprise a lancé un service permettant aux utilisateurs de connecter leurs dossiers médicaux et applications de bien-être pour obtenir des conseils de santé personnalisés. Plus de 230 millions de personnes posent des questions de santé chaque semaine, avec 40 millions d’utilisateurs quotidiens cherchant des conseils médicaux.
Les préoccupations des experts
Même certains experts de l’IA sont sceptiques. Les modèles d’IA ne savent pas intrinsèquement quand ils manquent d’informations, et ils ne sont pas calibrés pour exprimer l’incertitude. Ils produisent simplement un texte qui semble plausible et autoritaire, même lorsque ce n’est pas le cas.
L’utilisation de chatbots pour des fins de santé amplifie le risque en raison de ce que certains décrivent comme une asymétrie de vérification. Contrairement à la programmation, où une réponse hallucinée échoue rapidement, en médecine, les conseils dépendent souvent du contexte spécifique au patient, un contexte que le système ne possède généralement pas.
Risques et évaluations de sécurité
Les évaluations de sécurité standard de l’IA peuvent échouer à détecter les sorties les plus risquées. La plupart se concentrent sur des signaux de surface comme les violations de politique explicites ou les erreurs factuelles, tout en récompensant la fluidité et l’empathie. Cela signifie que des conseils subtilement trompeurs peuvent passer les contrôles de sécurité.
Les organisations de santé exigent des niveaux de précision élevés. Les conseils médicaux ne peuvent tolérer le « non-sens cohérent » qui est acceptable dans des domaines moins critiques. La détection des conseils contextuellement trompeurs nécessite une supervision humaine.
Les implications de la gouvernance
La situation actuelle présente un vide de gouvernance qui pourrait créer un risque stratégique pour les organisations déployant des IA de santé. Il n’existe actuellement aucune loi fédérale unifiée ou norme industrielle régissant les chatbots de santé. Les efforts du gouvernement se concentrent sur l’accélération de l’innovation plutôt que sur l’imposition de garde-fous.
En conclusion, les chatbots de santé représentent une avancée technologique prometteuse, mais ils soulèvent des préoccupations sérieuses en matière de sécurité et de gouvernance. Un cadre de responsabilité clair est nécessaire pour protéger les utilisateurs tout en favorisant l’innovation.
