Revisão do Livro: “O Livro sobre Revisão de Documentos com IA”
A tese do livro é que “os computadores são capazes de revisar e classificar documentos melhor do que os humanos. E isso é um grande feito em eDiscovery.” O livro foca na revisão de documentos com IA, contrastando-a com a Revisão Assistida por Tecnologia e a codificação preditiva.
Revisão Assistida por Tecnologia vs. IA
Enquanto a Revisão Assistida por Tecnologia utiliza humanos para treinar a máquina, a IA é treinada e utiliza prompts para indicar o que deve ser procurado. Não utiliza “exemplos de treinamento.” Um exemplo de instrução fornecido é: “Todos os documentos onde um funcionário sugere que o preço dos produtos deve ser modificado.” Essas instruções funcionam como um Pedido de Produção.
Eficiência da Revisão com IA
O autor afirma que “a revisão impulsionada por IA pode encontrar facilmente mais de 95% dos documentos relevantes.” Os capítulos sobre como fazer isso são particularmente interessantes, pois o livro descreve um processo de revisão de relevância, passo a passo, utilizando amostragem aleatória para controle de qualidade.
Validação e Métricas
Para validação, o autor segue o caminho tradicional de classificar verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos, criando métricas como recall e precisão. Essas técnicas são frequentemente usadas em buscas por palavras-chave e aqui são aplicadas à IA. As fórmulas simples apresentadas são:
Recall = TP / (TP + FN)
Precisão = TP / (TP + FP)
O autor descreve a preparação de uma “chave de resposta” por um especialista no assunto, utilizando um termo chamado “matriz de confusão” para calcular as métricas. O processo aplica técnicas padrão, como amostrar a “pilha descartada”, para melhorar as consultas iterativas.
Importância da Validação
Em relação à defensabilidade, o autor enfatiza que “a única coisa que importa é como você valida os resultados e demonstra uma saída de alta qualidade.” A validação é fundamental, e o autor explica o que uma Revisão de IA defensável deve incluir, que é semelhante a qualquer revisão de Codificação Preditiva.
Processo Geral de Codificação Preditiva
- Identificar o conjunto de revisão.
- Treinar a máquina.
- Executar os documentos através do classificador.
- Avaliar os resultados.
Este processo é semelhante ao utilizado na IA.
Exemplos Práticos
O livro está repleto de exemplos concretos. Para o passo 1, sugere a remoção de documentos redundantes, obsoletos ou triviais, documentos sem texto extraído, arquivos de áudio, imagens e arquivos grandes, além da deduplicação. Essa abordagem é clássica na revisão de documentos.
Pré-Validação e Refinamento de Prompts
O autor também sugere uma “pré-validação,” que consiste em rodar prompts contra uma amostra aleatória antes de aplicá-los ao conjunto completo de dados. Um especialista revisa os “resultados” para determinar recall e precisão, oferecendo um benchmark comparável ao que é chamado de “riqueza.” A pré-validação também é apresentada como uma medida de economia de custos.
Os prompts podem ser refinados por critérios de inclusão ou exclusão. Exemplo de critério de inclusão: “qualquer discussão sobre qualificações na contratação deve ser considerada relevante.” Critério de exclusão: “qualquer discussão sobre a contratação de pessoas que não sejam treinadores ou gerentes deve ser considerada não relevante.”
Opções de Revisão com IA
O autor discute a revisão total com IA, mas também apresenta opções como “Revisão Linear Impulsionada por IA,” na qual lotes são selecionados usando IA, e Revisão Híbrida IA/CAL, onde documentos-semente são revisados por IA.
Confidencialidade e Segurança
Um ponto importante destacado é que, se você não está pagando por um produto, você é o produto. O autor oferece perguntas a serem feitas ao fornecedor de IA para garantir a segurança.
