Un nuovo progetto di legge in California affronta i controversi chatbot “companion”
Un progetto di legge in fase di avanzamento nella legislatura californiana mira a affrontare gli impatti dannosi dei chatbot “companion”, sistemi alimentati da intelligenza artificiale progettati per simulare relazioni umane e fornire supporto emotivo. Questi strumenti sono spesso commercializzati a utenti vulnerabili, come bambini e persone in difficoltà emotiva.
Dettagli del progetto di legge
Introdotto dal senatore statale Steve Padilla, il progetto di legge richiede alle aziende che gestiscono chatbot companion di evitare l’uso di trucchi additivi e premi imprevedibili. Esse devono ricordare agli utenti, all’inizio dell’interazione e ogni tre ore, che stanno parlando con una macchina, non con una persona. Inoltre, devono avvertire chiaramente gli utenti che i chatbot potrebbero non essere adatti ai minori.
Se approvato, questo sarebbe uno dei primi leggi nel paese a regolamentare i companion AI con standard di sicurezza chiari e protezioni per gli utenti.
La necessità di protezioni comuni
“Possiamo e dobbiamo mettere in atto protezioni di buonsenso che aiutano i bambini e proteggono i nostri utenti vulnerabili dalle proprietà predatrici e additive che sappiamo avere i chatbot”, ha dichiarato Padilla durante una conferenza stampa a Sacramento.
Ispirazione tragica
La legislazione è in parte ispirata dalla tragica storia di Sewell Setzer III, un ragazzo di 14 anni della Florida che si è tolto la vita l’anno scorso dopo aver formato una relazione parasociale con un chatbot su Character.AI, una piattaforma che consente agli utenti di interagire con personaggi AI personalizzati. Sua madre, Megan Garcia, ha dichiarato al Washington Post che Setzer utilizzava il chatbot giorno e notte e aveva espresso al bot di stare considerando il suicidio.
Ricerche sull’uso dei chatbot
Uno studio di marzo condotto dal MIT Media Lab ha esaminato la relazione tra i chatbot AI e la solitudine, scoprendo che un uso quotidiano più elevato era correlato a una maggiore solitudine, dipendenza e uso problematico, un termine usato dai ricercatori per caratterizzare l’addiction all’uso dei chatbot. Lo studio ha rivelato che i chatbot companion possono essere più additivi dei social media, a causa della loro capacità di capire cosa gli utenti vogliono sentire e fornire quel feedback.
Procedure per la gestione delle crisi
Il progetto di legge richiede agli operatori dei chatbot di avere un processo per gestire segnali di pensieri suicidi o auto-lesionismo. Se un utente esprime ideazione suicidaria, il chatbot deve rispondere con risorse come una hotline per il suicidio, e queste procedure devono essere rese pubbliche. Inoltre, le aziende devono presentare rapporti annuali—senza rivelare dettagli personali—su quante volte i chatbot hanno notato o avviato discussioni sui pensieri suicidi.
Possibili conseguenze legali
Sotto il progetto di legge, chiunque subisca danni a causa di una violazione avrà il diritto di intentare causa per danni fino a $1.000 per violazione, oltre ai costi legali.
Preoccupazioni dell’industria
Alcune aziende stanno opponendo resistenza alla legislazione proposta, sollevando preoccupazioni riguardo al suo potenziale impatto sull’innovazione. La scorsa settimana, un dirigente di TechNet, una rete statale di CEO della tecnologia, ha redatto una lettera aperta contro il progetto di legge, affermando che la sua definizione di chatbot companion è troppo ampia e che i requisiti di reporting annuale sarebbero troppo costosi.
“Quello che stiamo assistendo non è solo un’iniziativa politica per soffocare qualsiasi tipo di regolamentazione relativa all’AI”, ha risposto Padilla a una domanda riguardo all’opposizione. “Possiamo catturare i benefici positivi dell’implementazione di questa tecnologia e, allo stesso tempo, proteggere i più vulnerabili tra noi.”
