Responsabilità e Governance nell’Intelligenza Artificiale per la Salute

Quando l’IA Decide la Tua Cura: Le Domande di Governance che Ogni Parte Interessata Dovrebbe Porre

Un’indagine ha rivelato un strumento di intelligenza artificiale utilizzato da un importante assicuratore che ha respinto oltre 300.000 richieste in due mesi. I rifiuti sono stati generati in pochi minuti — più velocemente di quanto un revisore umano potesse leggere un singolo file. La maggior parte dei pazienti non ha mai presentato ricorso. Hanno assunto che l’algoritmo sapesse qualcosa che il loro medico non sapeva. Alcuni sono semplicemente rimasti senza cure. Questa assunzione rappresenta la crisi di governance che nessuno ha ancora pienamente nominato.

Un uomo di 62 anni con una condizione cardiaca complessa documentata ha visto negata la copertura per la riabilitazione cardiaca specializzata. Il suo cardiologo la considerava clinicamente essenziale. Il sistema automatizzato dell’assicuratore ha contrassegnato i codici di trattamento come non soddisfacenti ai criteri di necessità medica. Non ha ricevuto spiegazioni su se un medico avesse esaminato il suo fascicolo o se la decisione fosse stata generata algoritmicamente in pochi secondi. Ha assunto che il sistema sapesse qualcosa che il cardiologo non sapeva. Non ha presentato ricorso. Era uno degli oltre l’80% dei pazienti che non lo fanno mai — e uno dei meno dello 0,2% dei rifiuti che, se avesse presentato ricorso, sarebbero stati quasi certamente annullati.

La Questione Centrale

La domanda principale è ingannevolmente semplice: quando un paziente non è d’accordo con una decisione sanitaria influenzata dall’IA, chi è responsabile — e quali diritti ha effettivamente il paziente? Come documentato in un rapporto, le domande senza risposta al centro dell’IA nella sanità sono esattamente queste: cosa si fa quando non si è d’accordo con un algoritmo? Chi assume la responsabilità per l’accordo — o il disaccordo — con una raccomandazione dell’IA? Ci stiamo già scontrando con queste questioni.

Minacce alla Sicurezza dei Pazienti

È stato segnalato che l’insufficiente governance dell’IA rappresenta la seconda minaccia per la sicurezza dei pazienti per il 2025, notando che solo il 16% degli esecutivi ospedalieri nel 2023 ha riportato una politica di governance a livello di sistema per l’uso dell’IA e l’accesso ai dati. Il vuoto non è teorico. È una realtà operativa quotidiana in cui i sistemi di IA influenzano le decisioni cliniche e di copertura mentre pazienti, clinici e regolatori stanno ancora negoziando chi è responsabile per la loro supervisione.

Chiarimenti e Regole

Nel febbraio 2024, sono stati fatti tentativi per chiarire i confini. Un documento ha dichiarato esplicitamente che un algoritmo non può superare le circostanze mediche individuali di un paziente — che l’IA può assistere nelle determinazioni di copertura ma non può sostituire la revisione individualizzata richiesta da una raccomandazione medica. Questa decisione è stata significativa. Tuttavia, non ha creato l’architettura operativa per farla rispettare. Sapere che la regola esiste e avere un sistema che previene strutturalmente le violazioni sono due cose completamente diverse.

Chi è Responsabile?

Nessuno possiede questo problema. Tutti devono iniziare a chiedersi. Cinque parti interessate si trovano al centro di ogni decisione di cura influenzata dall’IA — assicuratore, fornitore, regolatore, paziente e la tecnologia stessa. Nessuno ha accettato pienamente la responsabilità. Tutti devono iniziare con la stessa domanda: qual è il mio ruolo quando l’algoritmo si sbaglia?

Domande per le Parti Interessate

Le domande che ogni parte interessata dovrebbe porsi sono cruciali. Gli assicuratori devono chiedere: il nostro modello di IA sta facendo la determinazione finale, o sta fornendo input a un revisore umano che esercita un giudizio clinico indipendente prima che venga comunicato un rifiuto al paziente?

I fornitori devono chiedere: quando il supporto decisionale clinico generato dall’IA contraddice il mio giudizio, la mia istituzione ha un protocollo documentato su come quel disaccordo viene registrato, escalato e risolto?

I pazienti devono chiedere: ho il diritto di sapere quando un sistema di IA ha influenzato una decisione sulla mia cura, e ho un chiaro percorso per presentare ricorso? La risposta varia a seconda dello stato in cui vivo.

I regolatori devono chiedere: è “revisione umana significativa” definita con sufficiente specificità affinché le organizzazioni non possano soddisfarla semplicemente inoltrando decisioni a un umano che approva rapidamente un output dell’IA?

Passi da Seguire

Nessuna parte interessata ha ancora la risposta completa. Questo non è una scusa per l’inazione — è il contesto per passi urgenti e intermedi. Ogni organizzazione che impiega l’IA in decisioni cliniche o di copertura dovrebbe richiedere una traccia di audit generata da umani per ogni risultato influenzato dall’IA — non come esercizio di conformità, ma come base probatoria per quando un paziente sfida una decisione.

Ogni rifiuto dovrebbe portare una spiegazione in linguaggio semplice su se un modello di IA è stato coinvolto e quali sono i diritti di appello del paziente. Ogni comitato di governance che supervisiona l’IA nella sanità dovrebbe includere fornitori, pazienti con i loro sostenitori, assicuratori e regolatori sanitari con la reale autorità per fermare l’implementazione quando non vengono rispettati gli obblighi di trasparenza.

Conclusione

La sanità si trova a un punto di svolta che si presenta una volta in una generazione. L’IA può comprimere i tempi diagnostici, rilevare condizioni precocemente, ridurre il carico amministrativo che porta al burnout dei clinici e estendere la qualità delle cure a popolazioni storicamente trascurate dal sistema esistente. Nessuno di questi potenziali svanisce perché la governance è difficile. Si accelera quando la governance è ben realizzata — perché i pazienti si impegnano più pienamente con un sistema di cui si fidano, i clinici adottano strumenti che possono spiegare e i regolatori consentono un’implementazione più rapida quando l’infrastruttura di responsabilità è già in atto. Ottenere la governance giusta non è un ostacolo alla promessa dell’IA nella sanità. È il percorso verso di essa.

More Insights

Responsabilità nell’Intelligenza Artificiale: Un Imperativo Ineludibile

Le aziende sono consapevoli della necessità di un'IA responsabile, ma molte la trattano come un pensiero secondario. È fondamentale integrare pratiche di dati affidabili sin dall'inizio per evitare...

Il nuovo modello di governance dell’IA contro il Shadow IT

Gli strumenti di intelligenza artificiale (IA) si stanno diffondendo rapidamente nei luoghi di lavoro, trasformando il modo in cui vengono svolti i compiti quotidiani. Le organizzazioni devono...

Piani dell’UE per un rinvio delle regole sull’IA

L'Unione Europea sta pianificando di ritardare l'applicazione delle normative sui rischi elevati nell'AI Act fino alla fine del 2027, per dare alle aziende più tempo per adattarsi. Questo cambiamento...

Resistenza e opportunità: il dibattito sul GAIN AI Act e le restrizioni all’export di Nvidia

La Casa Bianca si oppone al GAIN AI Act mentre si discute sulle restrizioni all'esportazione di chip AI di Nvidia verso la Cina. Questo dibattito mette in evidenza la crescente competizione politica...

Ritardi normativi e opportunità nel settore medtech europeo

Un panel di esperti ha sollevato preoccupazioni riguardo alla recente approvazione dell'AI Act dell'UE, affermando che rappresenta un onere significativo per i nuovi prodotti medtech e potrebbe...

Innovazione Etica: Accelerare il Futuro dell’AI

Le imprese stanno correndo per innovare con l'intelligenza artificiale, ma spesso senza le dovute garanzie. Quando privacy e conformità sono integrate nel processo di sviluppo tecnologico, le aziende...

Rischi nascosti dell’IA nella selezione del personale

L'intelligenza artificiale sta trasformando il modo in cui i datori di lavoro reclutano e valutano i talenti, ma introduce anche significativi rischi legali sotto le leggi federali contro la...

L’intelligenza artificiale nella pubblica amministrazione australiana: opportunità e sfide

Il governo federale australiano potrebbe "esplorare" l'uso di programmi di intelligenza artificiale per redigere documenti sensibili del gabinetto, nonostante le preoccupazioni riguardo ai rischi di...

Regolamento Europeo sull’Intelligenza Artificiale: Innovare con Responsabilità

L'Unione Europea ha introdotto la Regolamentazione Europea sull'Intelligenza Artificiale, diventando la prima regione al mondo a stabilire regole chiare e vincolanti per lo sviluppo e l'uso dell'IA...