Opinione: Le preoccupazioni per ChatGPT Health in Australia riguardo ai consigli dell’IA e alla mancanza di regolamentazione
Ci sono molti punti di accesso a ChatGPT Health con una singola ricerca. Si tratta di un servizio di chat che fornisce una gamma di servizi relativi a questioni mediche per i consumatori.
Il recente lancio di ChatGPT Health è “solo” un servizio di informazioni generali, ma i contesti di riferimento sono enormi. È un’interfaccia per informazioni generali, che può essere e è stata interpretata come consiglio.
Un articolo su questo servizio evidenzia in termini chiari e allarmanti cosa può andare storto e cosa è già andato storto, in particolare un caso di una persona che ha assunto il bromuro di sodio invece del sale da tavola.
Per spiegare questo problema in modo più succinto:
L’IA si basa sui dati disponibili per elaborare le richieste. I dati disponibili per il bromuro di sodio sono minimi e inquietanti. Anche i produttori sembrano avere solo un certo livello di informazioni a disposizione.
Questo è ciò che l’IA vedrebbe:
- Dati generali di ricerca. È adeguato per una panoramica casuale, ma difficilmente a livello diagnostico. Include informazioni sulla sicurezza e la tossicità.
- Informazioni sul prodotto, per quanto disponibili. Si notano molte voci con “Nessun dato disponibile” in questo foglio informativo.
Così, una persona assume il bromuro di sodio, inizia a vedere allucinazioni e finisce in ospedale. Ironia della sorte, le informazioni sulla tossicità nella ricerca di base includono le allucinazioni.
Si può vedere come funziona. Come questa persona abbia avuto l’idea che il bromuro di sodio fosse un sostituto del sale da tavola è un mistero. Forse il fatto che entrambi contengano sodio.
Il problema principale
Per usare un’espressione, questo è “un’eccessiva ambizione dell’IA”.
Nella situazione del consumatore, ha oltrepassato di gran lunga la propria base di conoscenza. Questo tipo di informazione semplicemente non può e non sarà mai in grado di tradursi in una soluzione rapida per il sale da tavola o qualsiasi altra cosa.
Nel caso di ChatGPT Health, si tratta di un’enorme eccessiva ambizione. È una cosa semplicemente ripetere informazioni fattuali. Trasporre quel livello di informazioni in una sorta di consiglio medico è fuori discussione.
Uno dei motivi per cui la salute online ha preso piede è perché dovrebbe essere fondamentalmente lo stesso servizio che riceveresti da un medico. È veloce, efficiente, fa risparmiare tempo e denaro per entrambe le parti, e nessuno deve rischiare la vita nel traffico per curare un raffreddore.
I servizi di salute basati su IA come questo sono inevitabilmente ben oltre le loro capacità in queste funzioni di base. Non sono soggetti allo stesso livello di scrutinio tra le due parti.
Regolamentazione
La regolamentazione potrebbe essere più semplice di quanto sembri. In base alla legge australiana, un’azienda medica non può fornire servizi medici. Non è nemmeno una persona giuridica. Queste sono distinzioni molto importanti.
Quindi, come potrebbe un’IA fornire gli stessi o simili servizi? Anche l’IA non è una persona giuridica. Questo potrebbe estendersi a qualsiasi forma di consiglio medico.
Come asset terapeutico, l’IA potrebbe essere regolata dall’Amministrazione dei Beni Terapeutici. Potrebbe operare solo sotto le normative terapeutiche generali, con un numero qualsiasi di salvaguardie integrate. Va notato che l’interpretazione ragionevole di “terapia” può facilmente includere i servizi di consulenza.
Perché regolamentare
Perché altrimenti qualsiasi prodotto pseudo-medico pericoloso può entrare nella catena alimentare. Perché ci sono seri rischi di danni notevoli. Guarda quanto è divertente l’America con i suoi farmaci, regolati o meno. Il rischio è troppo alto.
Non parliamo di “cautela per il compratore”. Perché il compratore di qualsiasi cosa dovrebbe dover essere cauto? Qual è il problema di avere l’obbligo di commercializzare prodotti sicuri?
Un’etichetta che dice “questo prodotto potrebbe sterminare tutta la tua famiglia” può sembrare nobile e incoraggiante e dire che i produttori sono bravi ragazzi, ma perché ne hai bisogno? “Potrebbe contenere plutonio” ti dice abbastanza?
Nel caso del bromuro di sodio, è un’assunzione equa che nessuno considerasse seriamente che fosse un sostituto del sale da tavola. Non dovresti aver bisogno di essere avvisato di questo, ma ecco un caso documentato esattamente di questo tipo.
L’IA è destinata a diventare una parte fondamentale della medicina. Deve essere sicura.
