Reseña del Libro: “The Book on AI Doc Review”
La tesis del libro sostiene que “las computadoras son capaces de revisar y clasificar documentos mejor que los humanos. Y eso es un gran avance en eDiscovery.” Como su título sugiere, el libro se centra en la revisión de documentos mediante IA, contrastándola con la Revisión Asistida por Tecnología (TAR) y la codificación predictiva. Mientras que la TAR utiliza humanos para entrenar la máquina, la IA se entrena usando indicaciones para especificar qué buscar, sin utilizar “ejemplos de entrenamiento”.
Se proporciona un ejemplo de instrucción: “Todos los documentos donde un empleado de Acme sugiere que se modifique el precio de los widgets.” Las instrucciones se asemejan a una Solicitud de Producción, que es exactamente lo que son. En muchos casos, simplemente copiamos el lenguaje exacto de la Solicitud de Producción para iniciar nuestras instrucciones.
Revisión de Relevancia
El autor afirma que “la revisión impulsada por IA… puede encontrar fácilmente más del 95% de los documentos relevantes.” Los capítulos sobre “cómo hacerlo” son especialmente interesantes, ya que el libro detalla un proceso de revisión de relevancia, paso a paso, utilizando muestreo aleatorio para controlar la calidad de los resultados.
Como parte del proceso de validación, se sigue el camino clásico de clasificar verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos, para crear métricas como la recuperación y la precisión. Estas técnicas se han utilizado durante mucho tiempo en búsquedas por palabras clave y se aplican aquí a la IA. Las fórmulas son simples:
Recuperación = TP / (TP + FN)
Precisión = TP / (TP + FP)
Preparación de una “Respuesta Clave”
El autor describe la preparación de una “respuesta clave” por un experto en la materia. Utiliza un término nuevo para describir el proceso de cálculo de métricas con esa clave: una “matriz de confusión.” Este proceso aplica técnicas estándar, como muestrear el “montón de descartes,” para mejorar las consultas iterativas. La importancia de validar los resultados y demostrar una salida de alta calidad es crucial.
En cuanto a la defendibilidad, se menciona que “lo único que importa es cómo validas los resultados y demuestras una salida de alta calidad.” Aunque la validación puede no ser lo “único,” su importancia no puede ser subestimada. El autor explica cómo debe ser una revisión de IA defendible, que se asemeja mucho a cualquier revisión de codificación predictiva.
Proceso General para la Codificación Predictiva
El proceso general para la codificación predictiva se ha vuelto bastante sencillo:
- Identificar el conjunto de revisión.
- Entrenar la máquina.
- Ejecutar los documentos a través del clasificador.
- Evaluar los resultados.
No es diferente con la IA.
Ejemplos Concretos y Mejores Prácticas
El libro está lleno de ejemplos concretos. Para el primer paso, sugiere la eliminación de documentos redundantes, obsoletos o triviales, documentos sin texto extraído, archivos de audio, imágenes y archivos grandes, así como la deduplicación. Esta es la forma clásica de revisión de documentos.
El autor también sugiere la “pre-validación,” que consiste en ejecutar indicaciones contra una muestra aleatoria antes de aplicarlas al conjunto de datos completo. Luego, un experto en la materia revisa los “resultados” para determinar la recuperación y la precisión, proporcionando un punto de referencia que es análogo a lo que se ha llamado “riqueza.”
Las indicaciones pueden ser refinadas mediante criterios de inclusión o exclusión. Un ejemplo de criterio de inclusión es que “cualquier discusión sobre calificaciones en la contratación debe considerarse relevante.” Por otro lado, un criterio de exclusión podría ser: “Cualquier discusión sobre la contratación de alguien que no sea entrenador o gerencia debe considerarse no relevante.”
Opciones de Revisión de IA
Se discute la revisión completa de IA, así como opciones como la “Revisión Lineal Impulsada por IA,” en la que se seleccionan lotes utilizando IA, y la Revisión Híbrida IA/CAL, donde se revisan documentos semilla mediante IA.
En relación con la confidencialidad y la seguridad, se advierte que “si no pagas por un producto, tú eres el producto.” Se ofrecen preguntas para hacer al proveedor de IA para asegurar la seguridad.
