Bias algoritmico: cause, esempi e controlli

In sintesi

• Il bias algoritmico è un errore sistematico e ripetibile di un sistema automatizzato che produce esiti ingiusti o discriminatori verso determinate persone o gruppi, non un errore casuale.
• Raramente nasce da una sola riga di codice. Entra attraverso i dati, la progettazione del modello e il contesto umano e istituzionale che circonda il sistema.
• Il regolamento UE sull’IA lo rende un obbligo giuridico: l’articolo 10 impone ai fornitori di sistemi ad alto rischio di esaminarlo e attenuarlo, con applicazione dal 2 agosto 2026.
• Misurare il bias significa confrontare gli esiti tra gruppi protetti con metriche di equità come la parità demografica o l’uguaglianza delle opportunità.
• Il controllo duraturo è una questione di governance, non di una correzione una tantum: test documentati, sorveglianza umana e monitoraggio registrati in un sistema di gestione dell’IA.

Che cos’è il bias algoritmico?

Il bias algoritmico indica gli errori sistematici e ripetibili di un sistema informatico che producono esiti ingiusti, ad esempio favorendo un gruppo di utenti rispetto a un altro senza una ragione legittima. La parola decisiva è sistematico. Un modello che sbaglia a caso è semplicemente impreciso. Un modello che sbaglia sempre a danno dello stesso gruppo è distorto, ed è questa regolarità a trasformare un difetto tecnico in un problema giuridico e reputazionale. Tre termini vengono spesso confusi. Il bias dei dati indica uno squilibrio in un insieme di dati, ad esempio un corpus di addestramento che sottorappresenta i candidati anziani. Il bias dell’IA è il termine generale che copre qualsiasi comportamento ingiusto di un sistema di IA. Il bias algoritmico sta nel mezzo: è lo schema ingiusto che un algoritmo produce quando dati, scelte di progettazione e distribuzione si combinano. Il bias dei dati ne è una causa, il bias algoritmico ne è il risultato osservabile. L’inquadramento più utile per la governance proviene dall’istituto statunitense di normazione NIST. Nella pubblicazione NIST SP 1270 il bias dell’IA è trattato come fenomeno sociotecnico: non può essere eliminato con la sola modifica del codice, perché riflette scelte sui dati, sugli obiettivi e sul contesto sociale d’uso. Questa lettura ha una conseguenza diretta sulla conformità. Una risposta credibile deve coprire processi, persone e governance, non solo una metrica del modello. Per un’organizzazione che costruisce un sistema di gestione dell’IA, è la linea che separa un controllo difendibile da un mero adempimento formale.

Da dove nasce il bias algoritmico

NIST SP 1270 classifica le origini del bias in tre categorie. Ciascuna richiede un tipo di controllo diverso, ed è per questo che nominare la categoria è il primo passo pratico.

Bias computazionale e statistico

È il bias che nasce dai dati e dal modello stesso. Dati di addestramento che sottorappresentano un gruppo, etichette che codificano un pregiudizio passato o una variabile proxy che si sostituisce con discrezione a una caratteristica protetta orientano le previsioni in una direzione distorta. Un colpevole frequente è la funzione obiettivo: ottimizzare un solo bersaglio, come il costo o il coinvolgimento, può svantaggiare i gruppi che quel bersaglio descrive male. Il modello fa esattamente ciò che gli è stato chiesto, e qui sta il problema.

Bias sistemico

Il bias sistemico è ereditato dalle istituzioni e dalla storia, non da un errore puntuale nei dati. Se un processo di selezione ha favorito per anni una categoria di persone, un modello addestrato su quella storia apprende la stessa preferenza anche quando nessuna caratteristica protetta compare tra le variabili. L’algoritmo diventa fedele al passato e ingiusto verso il presente. Rimuovere il campo sensibile non basta, perché altre variabili fungono da sostituti.

Bias umano

Il bias umano entra attraverso le persone che progettano, costruiscono e usano il sistema. Le scorciatoie cognitive condizionano la scelta delle variabili, l’interpretazione degli output e il momento in cui un revisore si affida alla macchina. Il bias di automazione, la tendenza a fidarsi di un output automatizzato anche quando altri elementi lo contraddicono, è tra i più comuni e pericolosi, perché può trasformare una raccomandazione difettosa in una decisione definitiva mentre un essere umano è nominalmente nel ciclo. Queste categorie seguono il ciclo di vita dell’apprendimento automatico. La checklist di audit dell’IA preparata per il Comitato europeo per la protezione dei dati dalla dottoressa Gemma Galdon Clavell colloca il bias in tre momenti: pre-elaborazione (raccolta e preparazione dei dati), elaborazione (addestramento e inferenza del modello) e post-elaborazione (come una previsione diventa una decisione). Nominare il momento rende concreta la correzione, perché un problema di etichettatura non si risolve con una regola di distribuzione.

Il bias algoritmico nella realtà

Le definizioni si ancorano meglio a casi documentati, e diversi tornano spesso tra ricercatori e autorità. Nella giustizia penale, lo strumento di previsione della recidiva COMPAS è diventato l’esempio di riferimento dopo un’inchiesta di ProPublica del 2016: gli imputati neri avevano quasi il doppio delle probabilità di essere classificati erroneamente come ad alto rischio (circa il 45 per cento) rispetto agli imputati bianchi (circa il 23 per cento), mentre questi ultimi venivano più spesso etichettati erroneamente come a basso rischio nonostante recidive successive. Nella sanità, un algoritmo studiato da Obermeyer e colleghi su Science (2019) ha influenzato decisioni di cura per circa 200 milioni di persone negli Stati Uniti. Usava il costo delle cure come approssimazione del bisogno di cure. Poiché storicamente si era speso meno per i pazienti neri con le stesse patologie, il modello li valutava come meno bisognosi. Insieme al fornitore, i ricercatori hanno ridotto il bias misurato di circa l’80 per cento una volta corretto il proxy. Nella selezione del personale, Amazon ha abbandonato uno strumento sperimentale dopo aver constatato che penalizzava i curriculum contenenti la parola women’s e favoriva i candidati uomini, perché era stato addestrato su un decennio di curriculum in prevalenza maschili. Nel credito al consumo, la Apple Card è finita sotto esame regolatorio nel 2019 dopo segnalazioni secondo cui alle donne venivano proposti limiti inferiori a quelli di uomini con profili comparabili. Lo schema è costante. Nessun team voleva discriminare. Il bias è arrivato tramite variabili proxy, dati storici e ipotesi non esaminate, ed è proprio per questo che va testato anziché presunto assente.

Chi è responsabile: fornitori e deployer

Una fonte ricorrente di confusione riguarda chi sia titolare del problema del bias. Il regolamento UE sull’IA risponde ripartendo gli obblighi tra fornitori, che sviluppano o immettono sul mercato un sistema, e deployer, che lo utilizzano. I fornitori portano gli obblighi su dati e modello. Costruiscono la pipeline di addestramento e scelgono l’obiettivo, quindi sono i più vicini al bias computazionale e statistico. I deployer portano l’obbligo di contesto. Decidono dove e su chi un sistema viene usato, ed è lì che emergono spesso il bias sistemico e il bias di automazione. Un modello privo di bias può comunque produrre esiti ingiusti se distribuito su una popolazione per la quale non è mai stato validato. Per le organizzazioni regolamentate questa ripartizione ha un’implicazione pratica: i controlli sul bias devono esistere su entrambi i lati del rapporto con il fornitore. L’approvvigionamento è il punto di controllo naturale. Un deployer che chiede al fornitore, prima di firmare, le prove dei test di bias, l’analisi di rappresentatività e i limiti d’uso previsti trasforma un momento contrattuale in un controllo. La piattaforma di governance dell’IA di AI Sigil è costruita attorno a questo passaggio di consegne, in modo che le prove del fornitore e le valutazioni del deployer risiedano in un unico fascicolo.

Perché il bias algoritmico è oggi un obbligo di conformità

Per gran parte dell’ultimo decennio il bias è stato discusso come questione etica. Con il regolamento UE sull’IA è una questione giuridica, con obblighi e scadenze precisi. L’articolo 10 del regolamento sull’IA richiede che i dati di addestramento, convalida e prova dei sistemi ad alto rischio siano pertinenti, sufficientemente rappresentativi e, per quanto possibile, privi di errori e completi rispetto alla finalità prevista. Impone esplicitamente che la governance dei dati comprenda un esame dei possibili bias suscettibili di incidere sulla salute e sulla sicurezza, di pregiudicare i diritti fondamentali o di causare discriminazioni vietate dal diritto dell’Unione, insieme a misure per individuare, prevenire e attenuare tali bias. L’articolo 10, paragrafo 5, si spinge oltre, consentendo ai fornitori di trattare categorie particolari di dati personali quando strettamente necessario per individuare e correggere i bias, fatte salve le garanzie. Gli obblighi per i sistemi ad alto rischio dell’allegato III diventano applicabili dal 2 agosto 2026. I deployer hanno un obbligo proprio. L’articolo 27 impone a determinati deployer di sistemi ad alto rischio, tra cui molti enti pubblici, di svolgere una valutazione d’impatto sui diritti fondamentali prima del primo utilizzo, descrivendo i gruppi interessati, i rischi specifici di danno, le misure di sorveglianza umana e i meccanismi di reclamo. Il bias è al centro di questa valutazione, perché un solo sistema distorto nell’istruzione può incidere insieme su non discriminazione, diritto all’istruzione e diritti dei minori. Conviene distinguere due piani del diritto. Il regolamento sull’IA impone un obbligo ex ante, tecnico, di esaminare e attenuare il bias durante lo sviluppo. Il diritto antidiscriminatorio agisce ex post, sugli esiti, quando una persona subisce un danno. La più recente dottrina giuridica sottolinea che i due piani sono complementari ma non identici: soddisfare l’uno non soddisfa automaticamente l’altro. Un programma difendibile prevede entrambi e documenta il proprio ragionamento. Le norme traducono l’obbligo in un modello operativo. Il quadro NIST per la gestione del rischio dell’IA colloca il lavoro sul bias nella sua funzione MEASURE. La norma ISO/IEC 42001 sui sistemi di gestione dell’IA fornisce la sede documentata per i controlli sul bias, i loro responsabili e le prove. Insieme trasformano il bias da tema di ricerca in un controllo gestito e tracciabile.

Come rilevare e misurare il bias algoritmico

Il rilevamento inizia prima di ogni calcolo: occorre decidere quali gruppi proteggere. Di solito ricalcano caratteristiche tutelate dalla legge, come origine, sesso, età, religione o disabilità, e i loro proxy più prossimi, e questa scelta va messa agli atti. Definiti i gruppi, si confrontano gli esiti tra loro. Le metriche di equità su cui poggiano la maggior parte delle metodologie di audit, compresa la checklist del Comitato europeo per la protezione dei dati, sono semplici da calcolare e da documentare:

• Parità demografica: ogni gruppo riceve esiti positivi con un tasso simile.
• Uguaglianza delle opportunità: le persone qualificate ricevono esiti positivi con tasso simile tra i gruppi.
• Parità delle probabilità: i tassi di errore, falsi positivi e falsi negativi, sono simili tra i gruppi.
• Differenza di rischio (p1 meno p2) e rapporto di rischio (p1 diviso p2): misure semplici e verificabili del divario tra due gruppi.

Nessuna metrica è corretta in ogni situazione, e diverse non possono essere soddisfatte contemporaneamente per ragioni matematiche. La scelta della metrica è quindi essa stessa una decisione di governance, da motivare per iscritto e poi da verificare rispetto a una verità di base e alla rappresentatività dei dati di addestramento. Un numero di equità privo di motivazione registrata è una prova debole in un audit.

Come attenuare e governare il bias algoritmico

Un’attenuazione che regge all’esame è ripetibile. Un flusso di lavoro pratico, tratto dalla metodologia di audit del Comitato europeo per la protezione dei dati, si articola in quattro passaggi che qualsiasi team di governance può documentare.

1. Scheda del modello: registrare finalità, responsabile, fonti dei dati e uso previsto del sistema.
2. Mappa del sistema: rilevare come il modello, il sistema tecnico più ampio e il processo decisionale si collegano, e chi è responsabile a ogni fase.
3. Momenti e fonti del bias: individuare dove il bias può entrare in pre-elaborazione, elaborazione e post-elaborazione.
4. Test del bias: eseguire le metriche di equità sui gruppi protetti definiti, poi registrare i risultati e le azioni intraprese.

Ogni passaggio corrisponde alle tre fasi del ciclo di vita che NIST SP 1270 raccomanda per gestire il bias: pre-progettazione, progettazione e sviluppo, distribuzione. I controlli collocati presto, come dati rappresentativi e un obiettivo ben scelto, sono più economici e più efficaci delle correzioni applicate dopo il rilascio. Per i sistemi ad alto rischio o non supervisionati, un audit avversariale, che sonda il sistema con input costruiti ad arte, può far emergere bias che i test standard non colgono. Le correzioni tecniche sono solo metà della risposta. Poiché il bias è sociotecnico, un controllo duraturo poggia sulla governance: un responsabile nominato per ogni modello, una sorveglianza umana reale che resista al bias di automazione, un meccanismo di reclamo per le persone interessate e un nuovo test periodico a ogni cambiamento del sistema o della sua popolazione. Con il regolamento sull’IA la prova è parte dell’obbligo, quindi questo lavoro va messo per iscritto. Registrare test del bias, decisioni di attenuazione e monitoraggio in un unico inventario e sistema di gestione dell’IA trasforma buone intenzioni sparse in un controllo verificabile, collegato direttamente all’articolo 10 e alla norma ISO/IEC 42001.

Domande frequenti

Che cos’è il bias algoritmico? Il bias algoritmico è un errore sistematico e ripetibile di un sistema automatizzato che produce esiti ingiusti o discriminatori verso determinate persone o gruppi senza una ragione legittima. Si distingue dall’imprecisione casuale perché svantaggia sempre le stesse persone, il che lo rende al tempo stesso misurabile e giuridicamente rilevante. Qual è un esempio di bias algoritmico? Un caso ben documentato è quello di un algoritmo sanitario che usava la spesa passata come approssimazione del bisogno medico. Poiché storicamente si era speso meno per i pazienti neri con le stesse patologie, il sistema li valutava come meno bisognosi, incidendo sulle cure di circa 200 milioni di persone finché il proxy non è stato corretto e il bias ridotto di circa l’80 per cento. Qual è la differenza tra bias algoritmico e bias dell’IA? Il bias dell’IA è il termine generale per qualsiasi comportamento ingiusto di un sistema di IA. Il bias algoritmico è lo schema ingiusto specifico che un algoritmo produce quando dati, progettazione e distribuzione interagiscono. Il bias dei dati, cioè lo squilibrio nell’insieme di dati sottostante, ne è una causa principale, non un sinonimo. Che cos’è il bias di automazione? Il bias di automazione è la tendenza umana a fidarsi troppo di un output automatizzato, anche quando altri elementi suggeriscono che sia errato. Conta per la sorveglianza dell’IA perché può trasformare in silenzio una raccomandazione difettosa in una decisione definitiva, vanificando il senso di un essere umano nel ciclo. Il bias algoritmico è illegale secondo il regolamento UE sull’IA? Il regolamento non vieta il bias in sé, ma rende il suo esame e la sua attenuazione un obbligo di legge per i sistemi ad alto rischio ai sensi dell’articolo 10, applicabile dal 2 agosto 2026. Inoltre il diritto antidiscriminatorio può intervenire quando esiti distorti causano un danno a una persona. Come si misura il bias algoritmico? Si definiscono i gruppi protetti, poi si confrontano gli esiti tra loro con metriche di equità come la parità demografica, l’uguaglianza delle opportunità, la parità delle probabilità e la differenza o il rapporto di rischio tra gruppi, verificando i risultati rispetto a una verità di base e alla rappresentatività dei dati di addestramento.

Conclusione

Il bias algoritmico non è più la questione se un sistema sia etico in astratto. È la questione se un’organizzazione possa dimostrare, prove alla mano, di aver cercato gli esiti ingiusti, di averli misurati e di aver agito. Il regolamento UE sull’IA, NIST SP 1270 e la norma ISO/IEC 42001 convergono sulla stessa aspettativa: il bias è un controllo gestito, documentato e verificabile, non una pulizia una tantum. I team che lo trattano così, con responsabilità chiare, test di equità e monitoraggio riuniti in un unico luogo, rispetteranno le scadenze del 2026 e costruiranno sistemi di cui clienti e autorità possano fidarsi. AI Sigil aiuta le organizzazioni regolamentate a mettere in pratica esattamente questi controlli in un’unica piattaforma di governance dell’IA.