Quali caratteristiche sono essenziali per promuovere la trasparenza nel contesto dei dataset di IA?
La spinta verso la trasparenza nei modelli di machine learning e nei dataset sta guadagnando slancio, alimentata dalla crescente attenzione sia del mondo accademico che dell’industria. Anche gli enti normativi di tutto il mondo stanno spingendo per una maggiore trasparenza. Tuttavia, i tentativi di implementare meccanismi standardizzati, pratici e sostenibili spesso incontrano limiti a causa dei diversi obiettivi, flussi di lavoro e background degli stakeholder coinvolti nel ciclo di vita dell’IA.
Elemento centrale per promuovere la trasparenza dei dataset è l’uso di strumenti come le “Data Card”, sintesi strutturate che evidenziano i fatti essenziali sui dataset di ML. Queste card forniscono spiegazioni chiare dei processi e delle motivazioni che danno forma ai dati e influenzano i risultati del modello – informazioni spesso non direttamente desumibili dal dataset stesso. Esse integrano la documentazione più lunga come le Model Card e le Data Statement.
Le Data Card aiutano a costruire consenso in diversi modi:
- Sono progettate come “oggetti di confine” – facilmente individuabili e accessibili nei punti decisionali chiave nel percorso dell’utente.
- Incoraggiano decisioni ben informate sull’uso dei dati nella costruzione, valutazione, politica e ricerca dei modelli.
Il processo di creazione delle Data Card può essere esso stesso trasformativo, identificando opportunità per migliorare la progettazione del dataset. Ad esempio, i creatori di Data Card potrebbero scoprire intuizioni sorprendenti, come la necessità di indagare le ragioni di un’alta percentuale di valori sconosciuti o di stabilire interpretazioni condivise dei lessici utilizzati nell’etichettatura del dataset.
Caratteristiche Chiave per la Trasparenza (adattato dalla Tabella 1 nel documento di origine):
Diverse caratteristiche migliorano significativamente la trasparenza se applicate ai dataset di IA:
- Bilanciare gli Opposti: Divulgare informazioni senza creare vulnerabilità indebite. Riportare le analisi di correttezza in modo responsabile, evitando la legittimazione di sistemi iniqui. Progettare standard che siano più di semplici checklist.
- Aumento delle Aspettative: Riconoscere che tutte le informazioni divulgate saranno soggette a un maggiore controllo.
- Disponibilità e Comfort: Fornire informazioni sulla trasparenza a più livelli, anche se non immediatamente necessarie.
- Richiede Controlli ed Equilibri: Assicurare che gli artefatti possano essere valutati da terzi, proteggendosi al contempo da un’eccessiva trasparenza che potrebbe invitare attacchi avversari.
- Interpretazioni Soggettive: Riconoscere e affrontare il fatto che diversi stakeholder hanno interpretazioni diverse della trasparenza.
- Abilitatore di Fiducia: Abilitare informazioni che favoriscano la fiducia nei consumatori di dati attraverso i benefici derivanti da dati, algoritmi e prodotti.
- Ridurre le Asimmetrie di Conoscenza: Facilitare la collaborazione interdisciplinare con un vocabolario per descrivere gli attributi del sistema di IA.
- Riflette i Valori Umani: Integrare informazioni sia tecniche che non tecniche su assunzioni, fatti e possibili alternative.
Fondamentalmente, la trasparenza si raggiunge quando c’è una comprensione condivisa dei dataset, basata sulla capacità di porre e rispondere a domande nel tempo. Le Data Card dovrebbero facilitare una spiegazione chiara e facilmente comprensibile di cosa è un dataset, cosa fa e perché.
Tipologia di Stakeholder
Per massimizzare l’efficacia delle Data Card, è fondamentale riconoscere i diversi ruoli degli stakeholder durante il ciclo di vita dei dati:
- Produttori: Coloro che a monte o i creatori originali dei dataset sono responsabili della raccolta, del lancio e della manutenzione.
- Agenti: Coloro che leggono i report di trasparenza e utilizzano il dataset o ne determinano l’uso da parte di altri.
- Utenti: Includono individui e rappresentanti che interagiscono con prodotti che si basano su modelli addestrati sul dataset, i cui dati possono essere incorporati e che potrebbero non avere competenze tecniche.
Le Data Card più significative e utili forniscono informazioni sufficienti e adattate a ciascun gruppo di stakeholder, affrontando le loro specifiche preoccupazioni e livelli di competenza.
Come contribuisce la metodologia di sviluppo alla creazione e alla valutazione delle Data Card?
Le Data Card sono riepiloghi strutturati che acquisiscono i dettagli essenziali sui set di dati di machine learning. Vengono utilizzate dalle parti interessate durante l’intero ciclo di vita del set di dati per garantire uno sviluppo responsabile dell’intelligenza artificiale. Ecco come la metodologia di sviluppo contribuisce alla loro creazione e valutazione:
Metodologia di sviluppo multiforme
Un approccio di progettazione incentrato sull’uomo, che prende in prestito dal design partecipativo e dall’interazione uomo-computer, è fondamentale per lo sviluppo delle Data Card. Lavorare in modo iterativo con i team di set di dati ML aiuta a perfezionare le decisioni di progettazione per affrontare le sfide di produzione nel mondo reale.
- Approccio di co-creazione: Lavorare direttamente con i proprietari di set di dati e modelli ML per creare prototipi garantisce continui miglioramenti in termini di usabilità e utilità.
- Focus Group esterni: La valutazione delle bozze con le parti interessate esterne – tra cui ricercatori UX, HCI, responsabili politici, product designer, accademici ed esperti legali – stabilisce definizioni operative e valori di trasparenza, che guidano la creazione di Data Card.
Standardizzazione e framework generativi
Un modello canonico con domande ricorrenti è progettato per catturare 31 diversi aspetti dei set di dati; domande specifiche per la modalità vengono aggiunte come blocchi appendibili. L’obiettivo è consentire ai creatori di Data Card di adattare le domande a nuovi set di dati senza compromettere la leggibilità, la navigabilità, la comparabilità e la trasparenza.
Workshop partecipativi
I workshop partecipativi strutturati coinvolgono le parti interessate interfunzionali per creare schemi di metadati trasparenti per la documentazione dei set di dati. Questi workshop aiutano i team ad allinearsi su una definizione condivisa di trasparenza, pubblico e requisiti del pubblico.
Fattori chiave che influiscono sull’implementazione su larga scala delle Data Card:
- Asimmetrie di conoscenza: Affrontare le differenze di comprensione tra le parti interessate.
- Processi organizzativi: Incentivare la creazione e la manutenzione della documentazione.
- Compatibilità dell’infrastruttura: Garantire la preparazione per l’integrazione delle Data Card.
- Cultura della comunicazione: Promuovere una comunicazione efficace tra i gruppi di stakeholder.
Framework OFTEn
Il Framework OFTEn fornisce ai produttori di set di dati un approccio deliberato e ripetibile per la produzione di documentazione trasparente. OFTEn considera le fasi comuni del ciclo di vita del set di dati. Le domande che pone possono essere applicate induttivamente e deduttivamente per indagini dettagliate sulla trasparenza del set di dati. Le fasi sono:
- Origini: Definire i requisiti, le decisioni di progettazione, i metodi di raccolta o di approvvigionamento e decidere le politiche
- Dati di fatto: Attributi statistici che descrivono il set di dati.
- Trasformazioni: Operazioni che convertono i dati grezzi in formati utilizzabili.
- Esperienza: Valutazione comparativa del set di dati nella pratica, compresi i casi d’uso.
- n=1 (esempi): Fornire punti dati rilevanti per le parti interessate di vari ruoli.
Garantire la qualità delle Data Card
Gli errori nelle Data Card possono propagarsi quando vengono duplicati e modificati, portando a frammentazione e imprecisioni. Per evitare ciò, è fondamentale un processo di revisione che coinvolga esperti.
- Revisori esperti: L’assegnazione di revisori con competenze in materia di dati, usabilità e nel dominio del set di dati aiuta a garantire la qualità.
- Dimensioni per la valutazione: L’utilizzo di dimensioni come la responsabilità, l’utilità, la qualità, l’impatto e il rischio fornisce un approccio strutturato per valutare il rigore delle Data Card.
Dimensioni per la valutazione
Le seguenti Dimensioni sono vettori direzionali e pedagogici che descrivono l’utilità della Data Card per l’agente che la esamina.
- Responsabilità: Evidenza di proprietà e di un processo decisionale sistematico da parte dei produttori.
- Utilità o Uso: Dettagli per soddisfare un processo decisionale responsabile.
- Qualità: Rigore, integrità e completezza del set di dati.
- Impatto o conseguenze dell’uso: Aspettative per i risultati durante la gestione dei set di dati.
- Rischio e raccomandazioni: Consapevolezza dei rischi e delle limitazioni .
Concetto chiave
La creazione di Data Card è migliorata da vari metodi e processi. Dallo sviluppo di data card con i membri del team, il framework OFTEn, domande coerenti, workshop partecipativi e dimensioni per la revisione. Questi metodi aumentano la validità, l’affidabilità, la responsabilità, l’utilità e la qualità complessiva delle Data Card.
Quali strategie di contenuto e organizzative vengono impiegate per strutturare e garantire l’utilità delle Data Card?
Le Data Card mirano a promuovere la trasparenza e lo sviluppo responsabile dell’IA fornendo riepiloghi strutturati di fatti essenziali sui dataset di machine learning. Documentano vari aspetti del ciclo di vita di un dataset, tra cui:
- Fonti a monte
- Metodi di raccolta e annotazione dei dati
- Metodi di training e di valutazione
- Casi d’uso previsti
- Decisioni che influenzano le prestazioni del modello
Il design si concentra sull’assicurare che le Data Card siano facilmente individuabili e accessibili a un pubblico diversificato. Le strategie organizzative chiave includono:
Framework OFTEn
Il framework OFTEn struttura la documentazione del dataset attraverso il suo ciclo di vita, considerando:
- Origins (Origini): Attività di pianificazione, considerazioni etiche e definizioni dei requisiti.
- Factuals (Elementi fattuali): Attributi statistici, deviazioni dai piani originali e analisi iniziale dei dati.
- Transformations (Trasformazioni): Filtraggio, validazione, parsing ed elaborazione dei dati grezzi.
- Experience (Esperienza): Benchmarking, implementazione in ambienti sperimentali o di produzione e analisi specifiche per l’attività.
- N=1 (examples) (Esempi): Esempi di punti dati trasformati, inclusi casi limite e frammenti di codice.
Framework Socratico di domande: Scopi
Un framework di domande utilizza diverse granularità per la presentazione delle informazioni. Il framework utilizza telescopi, periscopi e microscopi come un approccio innovativo per guidare gli utenti ad adottare l’etica dell’IA e dell’ML.
- Telescopes (Telescopi): Panoramiche di alto livello per stabilire il contesto.
- Periscopes (Periscopi): Dettagli tecnici e informazioni operative specifiche per il dataset.
- Microscopes (Microscopi): Dettagli granulari sui processi umani, le decisioni e le ipotesi che danno forma al dataset.
Questo approccio a strati mira ad accogliere utenti con diversi livelli di competenza, consentendo loro di esplorare progressivamente il contenuto.
Design e Struttura
L’unità fondamentale di una Data Card è un blocco, che è composto dai seguenti elementi:
- Un titolo
- Una domanda
- Spazio per ulteriori istruzioni o descrizioni
- Uno spazio di input per le risposte
La progettazione struttura la Data Card utilizzando blocchi disposti tematicamente e gerarchicamente su una griglia per consentire una presentazione del dataset “prima panoramica, zoom e filtro, dettagli su richiesta”.
Valutazione
Per valutare la qualità delle Data Card, le organizzazioni possono utilizzare una serie di dimensioni o vettori direzionali e pedagogici che ne descrivono l’utilità. Questi includono:
- Responsabilità (Accountability)
- Utilità o Uso
- Qualità
- Impatto o Conseguenze dell’uso
- Rischio e Raccomandazioni
Quali approfondimenti sono stati ottenuti dall’applicazione pratica relativa alla documentazione responsabile dei dataset AI?
Le Data Card, riepiloghi strutturati di fatti essenziali sui dataset, si stanno dimostrando uno strumento prezioso per lo sviluppo responsabile dell’AI sia in ambito industriale che di ricerca. L’applicazione pratica ha portato alla luce diverse intuizioni chiave, in particolare in merito a trasparenza, coinvolgimento degli stakeholder e impatto organizzativo.
Trasparenza e Spiegabilità
La trasparenza e la spiegabilità dei risultati dei modelli attraverso la lente dei dataset è emersa come una significativa preoccupazione regolamentare a livello internazionale. Le Data Card affrontano questo problema fornendo spiegazioni chiare e accessibili delle origini, dello sviluppo e dell’uso previsto di un dataset, aree spesso opache per gli stakeholder non tecnici. Utilizzando spiegazioni in linguaggio semplice di cosa è qualcosa, cosa fa e perché lo fa.
Coinvolgimento degli Stakeholder e Asimmetrie di Conoscenza
- Diversi Stakeholder: Le Data Card colmano il divario tra produttori e consumatori di dati, inclusi revisori non esperti, analisti politici e progettisti di prodotti.
- Riduzione delle Asimmetrie di Conoscenza: Creare un modello mentale e un vocabolario condivisi che aiutino gli stakeholder interdiscipinari, portando a un processo decisionale più informato ed equo.
- Collaborazione: Le applicazioni pratiche hanno dimostrato che il processo di creazione delle Data Card favorisce la collaborazione e rivela opportunità impreviste per il miglioramento dei dataset. Ad esempio, un team ha scoperto ragioni inaspettate per un’alta percentuale di valori sconosciuti nel proprio dataset, il che ha portato a un’indagine più approfondita e, in definitiva, a un miglioramento della qualità dei dati.
Caratteristiche Chiave del Framework
Le Data Card devono essere:
- Coerenti: Le Data Card devono essere comparabili tra diversi dataset per garantire che le affermazioni siano facili da interpretare e validare.
- Complete: La creazione delle Data Card dovrebbe avvenire contemporaneamente allo sviluppo del dataset e le responsabilità dovrebbero essere distribuite equamente tra i membri del team.
- Intelligibili e Concise: Le Data Card dovrebbero rivolgersi a lettori con diversi livelli di competenza, comunicando in modo efficiente le informazioni senza sopraffarli e incoraggiando una comprensione condivisa.
- Spiegabili e Oneste riguardo all’Incertezza: I partecipanti allo studio apprezzano le informazioni approfondite su ciò che non è noto. Costruisce fiducia e l’incertezza può portare alla mitigazione di conseguenze indesiderate.
Implicazioni Organizzative
L’ampliamento dell’adozione delle Data Card richiede un’attenta considerazione dei fattori organizzativi:
- Incentivare la Documentazione: I processi organizzativi devono incentivare la creazione e la manutenzione delle Data Card.
- Compatibilità dell’Infrastruttura: Un’integrazione perfetta con le pipeline di dati e modelli esistenti è fondamentale per mantenere le Data Card aggiornate e pertinenti.
- Automatizzare con Discernimento: Automatizzare per garantire l’accuratezza, ma evitare di automatizzare i campi a formato libero per motivazioni e presupposti.
- Cultura della Comunicazione: La cultura della comunicazione di un’organizzazione tra i gruppi di stakeholder può influire sulla sostenibilità a lungo termine delle Data Card.
Caratteristiche di Trasparenza
- Abilitatore di Fiducia: Informazioni accessibili e pertinenti aumentano la volontà di assumersi dei rischi in base alle aspettative di benefici.
- Riflette i Valori Umani: Divulgazione di presupposti, fatti e alternative da un punto di vista sia tecnico che non tecnico.
- Richiede Controlli ed Equilibri: La creazione dovrebbe essere aperta alla valutazione di terzi.
