Chatbot sanitari e rischi nella governance dell’IA
Quando un chatbot IA consiglia di aggiungere colla alla pizza, l’errore è evidente. Tuttavia, quando raccomanda di mangiare più banane – un consiglio nutrizionale valido che potrebbe essere pericoloso per chi ha insufficienza renale – l’errore si nasconde in bella vista. Questo è un rischio che potrebbe raggiungere centinaia di milioni di utenti con poca o nessuna supervisione normativa.
Recentemente, è stato lanciato un servizio di chatbot sanitario che consente agli utenti di collegare i registri medici e le app di benessere per ricevere indicazioni personalizzate sulla salute. Si stima che più di 230 milioni di persone pongano domande sanitarie a questo servizio ogni settimana, con 40 milioni di utenti giornalieri in cerca di consigli medici.
Critiche e preoccupazioni
Anche alcuni esperti di IA esprimono scetticismo. I modelli di linguaggio IA non sanno intrinsecamente quando mancano di informazioni e non sono calibrati per esprimere incertezze. Essi sono abili nel produrre testi che suonano plausibili e autorevoli, anche quando non lo sono.
L’utilizzo di chatbot per scopi sanitari amplifica il rischio attraverso una asimmetria di verifica. A differenza della programmazione, dove un errore evidente fallisce rapidamente, in medicina le indicazioni sono altamente condizionali e dipendono dal contesto specifico del paziente, che il sistema spesso non possiede.
Le valutazioni standard di sicurezza dell’IA possono non rilevare i risultati ad alto rischio. La maggior parte delle valutazioni si concentra su segnali superficiali, come violazioni esplicite delle politiche o errori fattuali, premiando la fluidità e l’empatia. Questo significa che i consigli ingannevoli possono passare i controlli di sicurezza.
Necessità di supervisione umana
Le organizzazioni sanitarie richiedono elevati livelli di accuratezza. I consigli medici non possono tollerare il “nonsense coerente” accettabile in altri ambiti meno critici. Rilevare consigli ingannevoli richiede supervisione umana per identificare problemi sottili che i modelli di IA trascurano.
I modelli di linguaggio tendono a rafforzare informazioni precedenti piuttosto che sfidarle. I rischi emergono da ciò che viene omesso e da come l’incertezza viene gestita. Le istruzioni di sicurezza più importanti vengono sovrascritte durante le interazioni, specialmente se l’utente condivide paura o trauma.
Proposte per una maggiore sicurezza
Una proposta per migliorare la sicurezza è l’implementazione di citazioni obbligatorie. I sistemi dovrebbero essere programmati per evidenziare le fonti mediche che supportano le risposte. Inoltre, si suggerisce l’introduzione di “friction” nei prodotti, mostrando risposte sfocate fino a quando gli utenti non accettano avvertenze.
Attualmente, c’è una mancanza di una legislazione federale unificata o di standard industriali che governano i chatbot sanitari. Sebbene ci siano iniziative per promuovere l’adozione dell’IA, queste si concentrano sull’innovazione piuttosto che sull’imposizione di guardrail. I chatbot sanitari operano in un ambiente di governance frammentato con vincoli minimi.
Conclusione
La governance dei chatbot sanitari è una questione complessa e in evoluzione. È cruciale sviluppare misure di sicurezza adeguate e normative per proteggere gli utenti da potenziali rischi. Solo con un approccio responsabile si potrà sfruttare appieno il potenziale dell’IA nel settore sanitario.
