In sintesi
- Il bias dell’IA è uno scostamento sistematico e ripetibile negli output di un sistema, che produce risultati ingiusti o inesatti per determinate persone o gruppi.
- La tassonomia di riferimento, dal NIST SP 1270, distingue tre categorie: bias sistemico, statistico e umano.
- Con l’articolo 10 del regolamento europeo sull’IA, esaminare e mitigare il bias dei dati di addestramento diventa un obbligo giuridico dal 2 agosto 2026, non una buona prassi facoltativa.
- I casi più noti (COMPAS, lo strumento di selezione di Amazon, l’algoritmo sanitario Optum) erano prevedibili ed evitabili con un esame documentato del bias.
- Il bias si governa: con registri adeguati, ruoli chiari, metriche e monitoraggio continuo diventa un controllo verificabile anziché una brutta sorpresa.
Che cos’è il bias dell’IA?
Il bias dell’IA è un errore sistematico nel modo in cui un sistema rappresenta il mondo, uno scostamento che avvantaggia o penalizza regolarmente certe persone. Non è un guasto isolato né una risposta errata occasionale. È uno schema: lo stesso tipo di persona ottiene lo stesso tipo di risultato ingiusto, di continuo, perché quello schema è inscritto nei dati, nel modello o nel modo in cui se ne legge l’output.
Conviene separare due sensi della parola. In statistica il bias è una grandezza neutra: la distanza tra la previsione media di un modello e il valore reale. Nella società il bias indica un esito ingiusto subito da una persona per ciò che è. Il bias dell’IA sta esattamente dove i due significati si incontrano: uno scostamento statistico misurabile che si traduce in un danno concreto.
Per questo il NIST definisce il bias come socio-tecnico e non puramente computazionale. Non si risolve solo con una funzione di perdita più pulita, perché le sue cause risalgono alla raccolta dei dati, alla scelta del problema e alla lettura umana dei risultati. Per un team di governance la conseguenza è netta: i controlli devono coprire dati, modelli e persone.
I tre tipi di bias dell’IA
La tassonomia di riferimento viene dal NIST SP 1270, che ordina il bias in tre categorie: sistemico, statistico e umano. La maggior parte degli incidenti reali combina tutte e tre, ma nominarle separatamente permette di assegnare a ciascuna un responsabile e un controllo.
Bias sistemico
Il bias sistemico nasce dalla società e dalle istituzioni e finisce codificato nei dati. Se un processo di selezione ha favorito un gruppo per dieci anni, un modello addestrato su quella storia apprende la stessa preferenza come se fosse una regola. Il modello non inventa l’ingiustizia: la eredita e la amplifica.
Bias statistico e computazionale
Il bias statistico deriva dai dati e dalla matematica. I meccanismi comuni sono lo squilibrio statistico (alcuni gruppi sono sottorappresentati), le variabili surrogate (un CAP o un costo sanitario che sostituisce un attributo protetto) e il disallineamento di contesto (un modello addestrato in un ambito e usato in un altro). Sono i guasti più accessibili al rilevamento tecnico.
Bias umano e cognitivo
Il bias umano entra attraverso le persone che progettano, etichettano e usano il sistema. Il bias di automazione, la tendenza a fidarsi della macchina più del proprio giudizio, è particolarmente rilevante per la governance: un modello ben calibrato può comunque causare danni se l’operatore lo segue senza spirito critico.
Dove si insinua il bias nel ciclo di vita dell’IA
Il bias non si inietta in un solo punto. Si accumula lungo tutto il ciclo di vita, ed è per questo che un controllo isolato lo manca. Il rapporto tecnico ISO/IEC TR 24027 descrive tecniche per valutare il bias in ogni fase, dalla raccolta dei dati fino all’uso.
I principali punti di ingresso meritano un elenco, perché ciascuno richiede un proprio controllo:
- Raccolta e campionamento: chi è sovra o sottorappresentato nel set di addestramento.
- Etichettatura: etichette soggettive codificano le ipotesi di chi annota.
- Selezione delle variabili: includere un surrogato di un attributo protetto reintroduce il bias che si credeva rimosso.
- Addestramento e scelte di progetto: l’obiettivo ottimizzato definisce ciò che è giudicato buono e può barattare equità con accuratezza.
- Test e valutazione: misurare solo l’accuratezza complessiva rende invisibile il danno per gruppo.
- Rilascio e cicli di retroazione: un modello distorto plasma i dati con cui verrà riaddestrato, e lo scostamento si rafforza.
Un programma di governance associa un controllo a ciascuna di queste fasi, anziché trattare il bias come una verifica dell’ultimo minuto.
Esempi reali di bias dell’IA
Il modo più chiaro di capire il bias dell’IA passa da casi in cui ha causato un danno documentato. Ogni esempio è celebre per il fallimento, ma la lezione più utile è ciò che un processo governato avrebbe individuato per primo.
Lo strumento COMPAS, usato dai tribunali statunitensi per stimare il rischio di recidiva, è stato analizzato da ProPublica. Gli imputati neri che non hanno commesso nuovi reati venivano classificati ad alto rischio quasi il doppio rispetto a imputati bianchi comparabili, circa il 44,9 % contro il 23,5 %. Lezione di governance: i tassi di errore per gruppo, non solo l’accuratezza complessiva, vanno inclusi in ogni report di valutazione.
Amazon ha costruito uno strumento di selezione sperimentale che ha appreso da dieci anni di curriculum in prevalenza maschili e ha iniziato a penalizzare le candidature che menzionavano le donne. L’azienda lo ha abbandonato nel 2018. Lezione: i dati storici trasportano la discriminazione storica.
Un algoritmo di previsione del rischio sanitario, studiato da Obermeyer e colleghi su Science, riguardava circa 200 milioni di persone. Usava il costo delle cure come surrogato del bisogno di cure. Poiché storicamente si spendeva meno per i pazienti neri a parità di patologia, il modello ne sottostimava i bisogni. Insieme al fornitore, i ricercatori hanno ridotto il bias di circa l’80 %. Lezione: le variabili surrogate richiedono un esame esplicito.
I sistemi di riconoscimento facciale hanno mostrato ripetutamente tassi di errore più alti per i gruppi sottorappresentati nelle immagini di addestramento. Lezione: la rappresentatività è una proprietà misurabile, verificabile prima del rilascio.
Bias dell’IA e diritto: AI Act, NIST, ISO
Qui il bias smette di essere un dibattito etico e diventa un obbligo di conformità. L’articolo 10 del regolamento sull’IA impone ai fornitori di sistemi ad alto rischio di esaminare i set di addestramento, validazione e test per possibili distorsioni che possano incidere su salute, sicurezza o diritti fondamentali, e di adottare misure per rilevarle, prevenirle e mitigarle. I dati devono essere pertinenti, sufficientemente rappresentativi e appropriati per le persone interessate.
Una disposizione merita attenzione particolare. L’articolo 10, paragrafo 5 crea un’eccezione stretta e condizionata: il fornitore può trattare categorie particolari di dati esclusivamente per rilevare e correggere il bias, con garanzie. In altre parole, dimostrare l’equità di un sistema può talvolta richiedere dati su attributi protetti, e il diritto lascia spazio a questa possibilità.
L’articolo 15 aggiunge requisiti di accuratezza, robustezza e cibersicurezza, e l’articolo 27 introduce una valutazione d’impatto sui diritti fondamentali per alcuni deployer. Questi obblighi ad alto rischio si applicano dal 2 agosto 2026. In Italia il Garante per la protezione dei dati personali e l’AgID hanno già affrontato i rischi legati a dati e algoritmi, il che ancora il tema a un quadro nazionale concreto.
Un punto sottile ma importante dalla ricerca: le metriche di equità e la non discriminazione giuridica non coincidono. Come nota un’analisi del regolamento, non esiste un’unica metrica di equità da ottimizzare. L’obbligo è esaminare il bias e mitigarlo dove possibile, documentando le scelte. Due framework traducono questi doveri in pratica: il NIST AI Risk Management Framework colloca l’equità nelle sue funzioni Measure e Manage, e la ISO/IEC 42001 fornisce la struttura gestionale per condurre l’esame del bias come processo ripetibile e certificabile.
Rilevare e misurare il bias dell’IA
Si governa solo ciò che si misura, e misurare il bias significa testare i risultati per gruppo, non solo l’accuratezza complessiva. Alcune metriche ricorrono nella pratica:
- Parità statistica: il tasso di esito favorevole è uguale tra i gruppi?
- Pari opportunità: tra le persone idonee, vengono selezionate a tassi simili a prescindere dal gruppo?
- Impatto sproporzionato, spesso espresso come rapporto di impatto avverso o regola dei quattro quinti: un gruppo viene selezionato a meno dell’80 % del tasso del gruppo più favorito?
Nessuna metrica è completa e alcune sono matematicamente incompatibili, perciò la scelta della metrica è essa stessa una decisione di governance da registrare. In parallelo i team devono cercare le variabili surrogate e documentare la rappresentatività dei dati. Il filo conduttore è la ripetibilità: un test del bias eseguito una volta prima del lancio dimostra l’intenzione; un test eseguito con cadenza dimostra il controllo.
Mitigare il bias dell’IA
Quando un test rivela un bias, le tecniche di mitigazione si distribuiscono su tre fasi della catena. Il pre-processing agisce sui dati: ricampionamento dei gruppi sottorappresentati o ripesatura degli esempi. L’in-processing agisce sul modello: debiasing avversario o vincoli di equità aggiunti all’obiettivo. Il post-processing agisce sull’output: regolazione delle soglie decisionali per gruppo per pareggiare i tassi di errore.
Nessuna di queste è una soluzione miracolosa, e ognuna comporta compromessi che un processo di governance dovrebbe esporre anziché nascondere. La revisione delle variabili neutralizza i surrogati. Il colmare le lacune nei dati corregge lo squilibrio statistico. Soprattutto, la supervisione umana mantiene una persona responsabile della decisione, il che è buona prassi e, per i sistemi ad alto rischio, un’aspettativa di legge.
Governare il bias dell’IA: un programma operativo
Ciò che distingue un’organizzazione sorpresa da un modello distorto da una che non lo è raramente sta nell’algoritmo. Sta nel programma che lo circonda. La governance del bias trasforma correzioni sparse in un controllo permanente con quattro ingredienti.
Primo, i registri: un registro dell’esame del bias per ogni sistema ad alto rischio, che annota quali dati sono stati verificati, quali metriche usate, cosa è stato trovato e cosa è stato fatto. È esattamente la prova che l’articolo 10 si aspetta. Secondo, i ruoli: chiarezza su chi risponde del bias di un dato sistema e su come la responsabilità si divide tra fornitore e deployer. Terzo, il monitoraggio continuo: il bias deriva quando dati e comportamenti cambiano, quindi l’esame si ripete con cadenza. Quarto, una pista di audit: approvazioni, versioni e prove legate a ciascun sistema di IA, perché un valutatore o un’autorità possa seguire la decisione.
Qui una piattaforma di governance dell’IA trova il suo posto rispetto a una cartella di fogli di calcolo. Quando ogni test, ogni mitigazione e ogni approvazione vive in un unico sistema di riferimento, legato al sistema di IA e all’obbligo preciso, il programma diventa verificabile per progettazione. Per i controlli adiacenti, il nostro spazio Industry Insights tratta la governance dei dati e la supervisione umana a cui l’esame del bias si collega.
FAQ
Quali sono i tre tipi di bias dell’IA?
La tassonomia del NIST SP 1270 nomina tre categorie: il bias sistemico, che società e istituzioni codificano nei dati; il bias statistico o computazionale, che nasce da dati e modello, incluso lo squilibrio e le variabili surrogate; e il bias umano, che entra tramite le persone che progettano, etichettano e usano il sistema. La maggior parte degli incidenti li combina tutti, per cui conviene assegnare un controllo a ciascuno.
Qual è un esempio di bias dell’IA?
Un caso ben documentato è l’algoritmo sanitario Optum studiato su Science, che riguardava circa 200 milioni di pazienti. Usava il costo delle cure come approssimazione del bisogno; poiché storicamente si spendeva meno per i pazienti neri a parità di patologia, ne sottostimava i bisogni. Individuato il surrogato, i ricercatori hanno ridotto il bias di circa l’80 %.
Il bias dell’IA si può eliminare del tutto?
No, e sostenere il contrario deve mettere in allerta. Il bias si misura, si riduce e si controlla, ma uno scostamento residuo resta quasi sempre, e diverse metriche di equità possono entrare in conflitto. L’obiettivo realistico, quello fissato dal regolamento, è esaminare il bias, mitigarlo dove possibile e documentare i compromessi.
Il bias dell’IA è illegale secondo l’AI Act?
Il bias in sé non è sanzionato, ma per i sistemi ad alto rischio l’omesso esame e la mancata mitigazione costituiscono una violazione dell’articolo 10 dal 2 agosto 2026. Il fornitore deve verificare i dati, garantire la rappresentatività e conservare le prove. L’articolo 10, paragrafo 5, consente persino un uso limitato di dati sensibili per rilevare e correggere il bias, con garanzie.
Come si testa il bias di un sistema di IA?
Si misurano i risultati per gruppo protetto con metriche come la parità statistica, le pari opportunità e l’impatto sproporzionato (la regola dei quattro quinti), invece di affidarsi alla sola accuratezza complessiva. Si cercano anche le variabili surrogate e si documenta la rappresentatività. Soprattutto, il test dovrebbe eseguirsi con cadenza per produrre una prova continua di controllo.
Qual è la differenza tra bias ed equità nell’IA?
Il bias è lo scostamento sistematico nel comportamento di un sistema; l’equità è l’obiettivo di esiti che non dipendano ingiustamente da chi è una persona. Ridurre il bias è il modo di perseguire l’equità, ma poiché l’equità ha più definizioni concorrenti, eliminare una forma di bias può andare a scapito di un’altra. Questa tensione fa dell’equità una decisione di governance.
Conclusione
Il bias dell’IA non è un dibattito etico da risolvere un giorno. È una proprietà concreta e misurabile di un sistema e, secondo il regolamento europeo, è ora un dovere documentato e verificabile, con una scadenza. Le organizzazioni che restano fuori pericolo trattano il bias come qualsiasi altro rischio: ne nominano i tipi, lo testano lungo tutto il ciclo di vita, lo mitigano con tecniche note e conservano le prove in un unico luogo. Così il bias smette di essere un titolo di giornale in attesa e diventa un controllo dimostrabile. Scopri come AI Sigil aiuta i team a governare bias ed equità in modo sistematico.