Intelligenza Artificiale Responsabile nel Settore Pubblico: L’Importanza della Procura
Nel 2018, la città di New Orleans ha rivelato che il dipartimento di polizia utilizzava un software di polizia predittiva fornito da Palantir per decidere dove inviare gli agenti. Questa scoperta ha sollevato preoccupazioni sui potenziali pregiudizi razziali del tool, ma la questione più profonda riguardava i processi che ne avevano consentito l’adozione. Chi aveva approvato il suo utilizzo? Perché era stato nascosto al pubblico?
Come New Orleans, tutte le città statunitensi si affidano a processi di procura pubblica per contrattare con fornitori privati. Queste normative, spesso scritte nella legge, si applicano a ogni acquisto governativo, dai pullman scolastici agli articoli per ufficio, fino ai sistemi di intelligenza artificiale. Tuttavia, il caso di Palantir ha evidenziato una grande scappatoia nelle regole di procura della città: poiché Palantir aveva donato il software gratuitamente, il contratto ha eluso i normali processi di supervisione della città.
La nostra squadra di ricerca, composta da accademici di università di prestigio, ha deciso di indagare sui processi di acquisto che influenzano le decisioni relative all’IA nel settore pubblico. Attraverso interviste con diciannove dipendenti comunali in sette città statunitensi anonime, abbiamo scoperto che le pratiche di procura variano notevolmente, influenzando ciò che è possibile in termini di governo dell’IA.
Il Ruolo della Procura nell’IA
La procura gioca un ruolo cruciale nel plasmare le decisioni relative all’IA. In assenza di una regolamentazione federale sui fornitori di IA, la procura rimane uno dei pochi strumenti a disposizione dei governi per promuovere valori pubblici come sicurezza, non discriminazione, privacy e responsabilità. Tuttavia, gli sforzi per riformare le pratiche di procura devono riconoscere come vengono realmente prese le decisioni di acquisto.
Quando si parla di procura, molti pensano a un processo di sollecitazione competitiva, che richiede una revisione e una decisione di assegnazione. Una volta identificato un caso d’uso per l’IA, un governo avvia un processo di sollecitazione in cui delinea le proprie esigenze e invita i fornitori a presentare proposte. Tuttavia, molti sistemi di IA bypassano completamente questo processo formale.
Percorsi Alternativi di Acquisto
Le leggi sulla procura consentono di solito acquisti di piccole dimensioni che saltano la gara competitiva. I dipendenti possono acquistare strumenti di IA a basso costo utilizzando carte di acquisto governative. Altri percorsi alternativi includono IA donata da aziende o disponibili gratuitamente al pubblico, come ChatGPT. Questo ha portato alla situazione in cui gran parte delle risorse disponibili per supportare la procura responsabile dell’IA non si applicano alla maggior parte degli acquisti di IA oggi.
Governance e Norme di Acquisto
La governance delle procure di IA varia notevolmente tra le città. Alcune hanno processi di supervisione centralizzati, mentre altre sono principalmente decentralizzate, consentendo a singoli dipartimenti come polizia e scuole di gestire il proprio portafoglio IT. Questi arrangiamenti di governance hanno implicazioni reali per la capacità di supervisione e suggeriscono che un approccio di riforma unico non sarà efficace.
Domande Aperte per il Futuro
Le domande fondamentali che i governi locali devono affrontare riguardano la creazione di processi di supervisione per le proposte di IA che possono bypassare il processo di sollecitazione convenzionale. Chi all’interno di un governo ha la capacità di gestire i rischi posti dalla tecnologia IA? Come possono essere ristrutturati i flussi di lavoro esistenti per garantire che le persone giuste siano coinvolte nell’analisi delle soluzioni IA proposte?
In conclusione, la procura pubblica rappresenta un’opportunità unica per riformare le pratiche di acquisto dell’IA, garantendo che le decisioni più importanti riguardo all’IA nel settore pubblico siano informate e trasparenti. È essenziale comprendere come un sistema di IA è stato acquisito per capire perché è stato adottato e quali interessi serve.
