Les biais, la sécurité et les lacunes de responsabilité persistent dans les systèmes d’IA déployés en santé
Le déploiement rapide de l’intelligence artificielle (IA) dans le secteur de la santé met en lumière les faiblesses de la gouvernance des outils numériques une fois qu’ils atteignent le chevet du patient. Bien que les systèmes d’IA soient de plus en plus utilisés dans le diagnostic, le soutien à la décision et les opérations hospitalières, de nouvelles recherches suggèrent que beaucoup continuent de présenter des risques non gérés pour la sécurité des patients et l’équité. Ces risques persistent non pas en raison de l’absence d’éthique, mais parce que les mécanismes de gouvernance sont mal mis en œuvre dans la pratique.
Biais et risques de transparence après déploiement
Le biais dans l’IA en santé n’est pas un problème statique pouvant être résolu lors de la phase de conception. Au contraire, le biais évolue au fil du temps à mesure que les systèmes rencontrent de nouvelles populations de patients, des pratiques cliniques changeantes et des données d’entrée variables. Les modèles entraînés sur des ensembles de données historiques peuvent initialement bien fonctionner, mais leur précision et leur équité peuvent se dégrader après le déploiement, en particulier pour les groupes sous-représentés ou vulnérables. Les auteurs soulignent que cette nature dynamique du biais est souvent négligée dans les cadres de gouvernance qui se concentrent étroitement sur la validation avant déploiement.
Dans les environnements de santé réels, les démographies des patients, la prévalence des maladies et les parcours de soins sont rarement stables. Lorsque les systèmes d’IA sont déployés sans surveillance continue, des disparités de performance peuvent apparaître sans être remarquées. L’étude souligne que de nombreuses institutions de santé manquent de l’infrastructure, de l’expertise ou de l’autorité contractuelle pour auditer les systèmes d’IA après leur achat. Cela crée un angle mort en matière de gouvernance où les outils continuent d’influencer les décisions cliniques même si leur fiabilité évolue.
La transparence constitue un défi parallèle. Bien que l’explicabilité soit devenue un concept central en éthique de l’IA en santé, les auteurs constatent que les outils d’explicabilité sont souvent mal alignés avec les besoins cliniques et réglementaires réels. Les explications générées par les systèmes d’IA peuvent répondre à des critères techniques, mais échouent à fournir des informations significatives aux cliniciens qui doivent justifier leurs décisions auprès des patients ou des régulateurs.
Sécurité, confidentialité et lacune de responsabilité
La sécurité a été identifiée comme un risque persistant et peu abordé dans la gouvernance de l’IA en santé. Les échecs de sécurité, notent les auteurs, surviennent souvent non pas en raison d’erreurs catastrophiques du système, mais de désaccords progressifs entre les sorties de l’IA et les workflows cliniques. Les changements de personnel, de protocoles ou de populations de patients peuvent altérer la façon dont les recommandations de l’IA sont interprétées et appliquées. En l’absence de processus clairs pour réévaluer et recalibrer les systèmes, ces désaccords peuvent s’accumuler pour entraîner des dommages cliniquement significatifs.
Les auteurs soulignent que la responsabilité en matière de sécurité de l’IA est souvent floue. Les développeurs peuvent affirmer que les systèmes fonctionnent comme prévu, tandis que les prestataires de soins de santé supposent que l’approbation réglementaire garantit une sécurité continue. Cette diffusion de responsabilité crée ce que les auteurs décrivent comme une lacune de responsabilité. Lorsque des résultats indésirables se produisent, il est souvent difficile de déterminer qui a l’autorité et l’obligation d’intervenir, de suspendre ou de retirer un système d’IA de l’utilisation.
Les risques de confidentialité compliquent encore ce paysage. L’utilisation croissante de modèles adaptatifs et génératifs soulève des préoccupations concernant les fuites de données, la mémorisation et l’utilisation secondaire non intentionnelle d’informations de santé sensibles. Les techniques d’anonymisation traditionnelles, affirment les auteurs, ne sont plus suffisantes à une époque où les modèles peuvent inférer ou reconstruire des données personnelles à partir de motifs complexes.
Un encadrement humain opérationnel, pas symbolique
L’étude souligne également l’écart entre le concept de supervision humaine et sa mise en œuvre dans les systèmes d’IA en santé. De nombreux outils d’IA sont commercialisés comme des systèmes d’aide à la décision qui maintiennent les cliniciens « dans la boucle ». En pratique, cependant, la supervision est souvent mal définie. Les cliniciens peuvent manquer de formation, de temps ou d’autorité pour contester de manière significative les recommandations de l’IA, surtout dans des environnements sous pression.
Les auteurs soutiennent que la supervision humaine doit être opérationnalisée par des droits de décision clairs, des voies d’escalade et un soutien institutionnel. Simplement exiger qu’un humain examine une sortie d’IA ne garantit pas un contrôle significatif si cet examen est superficiel ou contraint par des pressions de workflow. Une supervision efficace nécessite que les cliniciens comprennent les limites du système, aient accès aux informations de performance et possèdent l’autorité pour annuler ou désactiver le système si nécessaire.
Vers une gouvernance par conception dans l’IA en santé
Cette étude appelle à un changement de l’éthique basée sur des principes vers une gouvernance par conception. Cette approche intègre l’équité, la transparence, la sécurité et la supervision dans les structures techniques et organisationnelles qui façonnent l’utilisation des systèmes d’IA au fil du temps. Plutôt que de considérer la gouvernance comme une couche externe appliquée après le déploiement, les auteurs soutiennent qu’elle doit être intégrée à chaque étape du cycle de vie de l’IA.
Cela inclut une évaluation avant déploiement qui va au-delà des métriques de précision, des stratégies de déploiement qui s’alignent sur les workflows cliniques, et une surveillance continue qui suit la performance à travers les groupes de patients. Il est également nécessaire d’allouer clairement la responsabilité entre les développeurs, les fournisseurs de soins de santé et les régulateurs, soutenue par une documentation et des preuves pouvant résister à l’examen.
Les auteurs notent que des cadres émergents en Europe et ailleurs se dirigent vers une supervision basée sur le cycle de vie de l’IA. Cependant, ils avertissent que la réglementation seule ne résoudra pas les échecs de gouvernance à moins que les institutions de santé ne développent une capacité interne pour gérer efficacement les systèmes d’IA. La conformité sans capacité opérationnelle risque de produire une adhérence formelle sans protection substantielle.
