Recensione del Libro: “The Book on AI Doc Review”
La tesi del libro è che “i computer sono in grado di esaminare e classificare i documenti meglio degli esseri umani. E questo è un grande affare nell’eDiscovery.” Come suggerisce il titolo, il libro è incentrato sulla revisione dei documenti tramite intelligenza artificiale, confrontandola con il Technology Assisted Review (TAR) e il predictive coding.
Revisione dei Documenti con AI
Mentre il TAR utilizza gli esseri umani per addestrare la macchina, l’AI viene addestrata e utilizza prompt per indicare cosa cercare, senza fare uso di “esempi di addestramento.” Un esempio di istruzione fornito è: “Tutti i documenti in cui un dipendente Acme suggerisce che i prezzi dei widget dovrebbero essere modificati.”
Le istruzioni sono simili a una Request for Production, che è esattamente ciò che rappresentano. Secondo l’autore, “la revisione alimentata da AI… può facilmente trovare oltre il 95% dei documenti pertinenti.” I capitoli “how to” sono tra i più interessanti, poiché guidano attraverso una revisione della pertinenza, passo dopo passo, utilizzando un campionamento casuale per il controllo qualità.
Validazione dei Risultati
Per il processo di validazione, viene seguita la strada tradizionale di classificare i veri positivi, i veri negativi, i falsi positivi e i falsi negativi, creando metriche come richiamo e precisione. L’autore descrive anche la preparazione di una “chiave di risposta” da parte di un esperto del settore e utilizza il termine “confusion matrix” per descrivere il processo di calcolo delle metriche con quella chiave.
La cosa che conta è come si validano i risultati e si dimostra un output di alta qualità. Secondo l’autore, “l’unica cosa che conta è come si validano i risultati e si dimostra un output di alta qualità.” Anche se la validazione potrebbe non essere l’unica cosa importante, la sua rilevanza non può essere sottovalutata.
Revisione AI e Processo Predittivo
Un AI Review difendibile è simile a qualsiasi revisione di Predictive Coding. Il processo generale è diventato abbastanza semplice: identificare il set di revisione, addestrare la macchina, eseguire i documenti attraverso il classificatore e valutare i risultati. L’autore fornisce esempi concreti per il primo passo, suggerendo di rimuovere documenti ridondanti, obsoleti o triviali, documenti senza testo estratto, file audio e immagini, così come la deduplicazione.
Inoltre, viene discussa la “pre-validazione,” che consiste nell’eseguire prompt su un campione casuale prima di applicarli all’intero set di dati, permettendo così a un esperto del settore di rivedere i risultati per determinare il richiamo e la precisione.
Riflessioni Finali
Il libro discute anche la revisione AI completa e propone opzioni come la “Revisione Lineare Alimentata da AI,” in cui i lotti vengono selezionati tramite AI, e la Revisione Ibrida AI/CAL. In merito a riservatezza e sicurezza, viene sottolineato che “se non stai pagando per un prodotto, sei tu il prodotto.” Viene quindi fornita una serie di domande da porre al fornitore di AI per garantire la sicurezza.
