Bias, sicurezza e lacune di responsabilità nei sistemi di intelligenza artificiale sanitaria
Il rapido sviluppo dell’intelligenza artificiale (AI) nel settore sanitario sta esponendo le debolezze nella governance degli strumenti digitali una volta che raggiungono il posto letto. Sebbene i sistemi AI siano sempre più utilizzati in diagnosi, supporto alle decisioni e operazioni ospedaliere, nuove ricerche suggeriscono che molti continuano a presentare rischi non gestiti per la sicurezza dei pazienti e l’equità. Questi rischi persistono non perché manchino etiche, ma perché i meccanismi di governance sono mal implementati nella pratica.
Rischi di bias e trasparenza dopo il dispiegamento
Il bias nell’AI sanitaria non è un problema statico che può essere risolto durante la fase di progettazione. Al contrario, il bias evolve nel tempo man mano che i sistemi incontrano nuove popolazioni di pazienti, cambiamenti nelle pratiche cliniche e variazioni nei dati di input. I modelli addestrati su set di dati storici possono inizialmente funzionare bene, ma la loro accuratezza e equità possono degradare dopo il dispiegamento, in particolare per gruppi sottorappresentati o vulnerabili. Questo aspetto dinamico del bias è spesso trascurato nei framework di governance che si concentrano strettamente sulla validazione pre-distribuzione.
Nelle impostazioni sanitarie reali, le demografie dei pazienti, la prevalenza delle malattie e i percorsi di cura sono raramente stabili. Quando i sistemi AI vengono distribuiti senza monitoraggio continuo, possono emergere disparità di prestazioni non notate. Molte istituzioni sanitarie mancano delle infrastrutture, competenze o autorità contrattuale per auditare i sistemi AI dopo l’acquisto, creando un’area cieca nella governance.
Sicurezza, privacy e la lacuna di responsabilità
La sicurezza è stata identificata come un rischio persistente e poco affrontato nella governance dell’AI sanitaria. Le mancanze di sicurezza spesso non derivano da errori catastrofici del sistema, ma da discrepanze graduali tra le raccomandazioni AI e i flussi di lavoro clinici. Cambiamenti nel personale, protocolli o popolazioni di pazienti possono alterare come le raccomandazioni AI vengono interpretate e attuate. Senza processi chiari per rivedere e calibrare i sistemi, queste discrepanze possono accumularsi in danni clinicamente significativi.
La responsabilità per la sicurezza dell’AI è spesso poco chiara. Gli sviluppatori possono sostenere che i sistemi funzionano come progettato, mentre i fornitori sanitari assumono che l’approvazione normativa garantisca la sicurezza continua. Questa diffusione della responsabilità crea una lacuna di responsabilità. Quando si verificano esiti avversi, è spesso difficile determinare chi ha l’autorità e l’obbligo di intervenire o sospendere un sistema AI.
Oversight umano: operatività e simbolismo
La governance dell’AI deve essere operativa, non simbolica. Molti strumenti AI sono commercializzati come sistemi di supporto alle decisioni che mantengono i clinici “in gioco”. Tuttavia, nella pratica, l’oversight è spesso mal definito. I clinici possono mancare della formazione, del tempo o dell’autorità per contestare in modo significativo le raccomandazioni AI, specialmente in ambienti ad alta pressione. È fondamentale che l’oversight umano venga attuato attraverso diritti decisionali chiari e supporto istituzionale.
Verso una governance per design nell’AI sanitaria
È necessario un cambiamento da un’etica basata sui principi a una governance per design. Questo approccio integra equità, trasparenza, sicurezza e oversight nelle strutture tecniche e organizzative che plasmano come i sistemi AI vengono utilizzati nel tempo. La governance deve essere integrata in ogni fase del ciclo di vita dell’AI, inclusa una valutazione pre-distribuzione che vada oltre le metriche di accuratezza e strategie di distribuzione allineate con i flussi di lavoro clinici.
