Intelligence Artificielle dans le Secteur de la Santé : Responsabilité et Sécurité
L’émergence de l’intelligence artificielle (IA) dans le domaine de la santé soulève d’importantes questions concernant la responsabilité morale et la sécurité des patients. Alors que les outils basés sur l’IA deviennent de plus en plus répandus, les pratiques actuelles d’attribution des responsabilités et d’assurance de la sécurité n’ont pas encore évolué pour s’adapter aux défis posés par ces technologies avancées.
Contexte de l’IA en Santé
La mise en œuvre de l’IA dans les applications de santé a démontré un potentiel prometteur, notamment en surpassant parfois les performances des cliniciens sur des tâches spécifiques. Ces innovations visent à adresser des défis mondiaux majeurs, tels que le manque de cliniciens et les inégalités d’accès aux soins dans les pays à faibles ressources. Cependant, le domaine de la santé est complexe et critique pour la sécurité, où les échecs technologiques peuvent directement causer des dommages aux patients.
Responsabilité Morale
La responsabilité morale se réfère à la capacité d’un individu à être tenu responsable de ses décisions et actions. Dans le contexte des systèmes d’IA, il est essentiel de distinguer cette responsabilité morale de la responsabilité légale. Dans de nombreux cas, les cliniciens n’exercent pas un contrôle direct sur les décisions prises par les systèmes d’IA, ce qui complique l’attribution de la responsabilité en cas de préjudice.
Un exemple pertinent est celui des systèmes d’IA conçus pour traiter la sepsie. Bien que les cliniciens puissent faire le choix final d’agir sur les recommandations de ces systèmes, ils n’ont souvent pas une compréhension claire de la manière dont ces recommandations sont formulées, rendant ainsi leur responsabilité morale plus incertaine.
Assurance de la Sécurité
L’assurance de la sécurité concerne la démonstration de la fiabilité d’un système d’IA. Cela est souvent communiqué par un dossier de sécurité, qui présente un argumentaire raisonné soutenu par des preuves. Dans le secteur de la santé, il est crucial d’avoir une transparence totale quant aux systèmes d’IA, en particulier lorsque leur fonctionnement est critique pour la sécurité.
À ce jour, le risque élevé de préjudice associé à l’utilisation de l’IA a conduit à des limitations dans le transfert de la prise de décision clinique des cliniciens vers les systèmes numériques. Les systèmes d’IA doivent être conçus de manière à maintenir une responsabilité claire et des pratiques de sécurité robustes, afin de protéger les patients de tout risque potentiel.
Exemple de Système : L’IA Clinicien
Un cas d’étude intéressant est celui de l’IA Clinicien, un système développé pour optimiser le traitement des patients atteints de sepsie. Ce système utilise l’apprentissage par renforcement pour recommander des actions adaptées aux soins des patients. Bien qu’il soit conçu pour traiter des milliers de cas, il soulève des questions sur la manière dont les cliniciens interprètent et appliquent ces recommandations.
Il est essentiel de reconnaître que, même si l’IA Clinicien offre des recommandations basées sur des résultats empiriques, la décision finale revient toujours au clinicien. Cela crée une dilemme moral : soit le clinicien doit développer ses propres opinions sur le meilleur cours d’action, ce qui peut rendre l’IA superflue, soit il doit accepter les conseils de l’IA sans question, ce qui affaiblit sa responsabilité.
Conclusion et Perspectives d’Avenir
Déterminer où se situe la responsabilité morale dans des systèmes socio-techniques complexes reste un défi. Il est impératif d’inclure les développeurs d’IA et les ingénieurs en sécurité des systèmes dans les évaluations de la responsabilité morale en cas de préjudice aux patients. De plus, il est nécessaire de passer d’un modèle statique à un modèle dynamique d’assurance, reconnaissant que les considérations de sécurité ne peuvent pas être complètement résolues lors de la conception d’un système d’IA avant son déploiement.
Les défis de la responsabilité morale et de l’assurance de la sécurité continueront d’être d’actualité dans le contexte critique de l’IA en santé. Il est donc crucial de collecter des données et des retours d’expérience sur l’utilisation de ces systèmes pour mettre à jour les risques de sécurité en fonction des pratiques cliniques réelles.
