Revisão Assistida por Tecnologia vs Revisão Linear: Comparação Real de Custo e Precisão

Um grande escritório de contencioso acompanhou métricas detalhadas em 12 casos onde utilizaram tanto a revisão assistida por tecnologia (TAR) quanto a revisão linear tradicional em conjuntos de documentos comparáveis. Os dados eliminam o problema habitual de comparar coisas incomparáveis entre as duas abordagens, porque cada caso envolveu o mesmo processo, os mesmos documentos e os mesmos critérios de relevância. Os resultados não foram nem próximos.

A TAR produziu uma taxa média de recall de 89,4% em comparação com 67,2% para a revisão linear. A TAR custou em média $0,31 por documento em comparação com $0,78 para a revisão linear. A TAR completou a revisão em uma média de 4,3 semanas em comparação com 11,7 semanas para a revisão linear. Em todas as métricas que o escritório acompanhou, a revisão assistida por tecnologia superou a revisão manual.

A Metodologia por Trás da Comparação

A comparação do escritório não foi um exercício acadêmico. Em vários dos seus casos maiores, eles executaram a TAR na coleção completa de documentos enquanto simultaneamente atribuíam um subconjunto a equipes de revisão linear para benchmarking de qualidade. Em outros casos, utilizaram a TAR para revisão inicial e a revisão linear para amostragem de controle de qualidade, gerando dados de precisão lado a lado.

As coleções de documentos variaram de 200.000 a 6,8 milhões de documentos. As taxas de riqueza (a porcentagem de documentos que eram realmente relevantes) variaram de 2,1% a 11,4%. A variedade de tipos de casos incluiu litígios antitruste, fraude de valores mobiliários, violação de patentes e ações coletivas trabalhistas.

O escritório mediu cinco métricas-chave em todos os casos: recall (porcentagem de documentos relevantes encontrados), precisão (porcentagem de documentos codificados como relevantes que realmente eram), custo por documento revisado, tempo de calendário até a conclusão e taxa de defeitos em amostras de controle de qualidade.

Por Que a Revisão Linear Tem Desempenho Inferior em Precisão

A descoberta que surpreende a maioria das pessoas não é que a TAR é mais barata ou mais rápida. É que a TAR é mais precisa. A suposição sempre foi de que a revisão humana, embora cara, pelo menos captura tudo. Os dados não sustentam essa suposição.

A precisão da revisão linear sofre de vários problemas estruturais. A fadiga do revisor é o mais significativo. Um advogado contratado revisando seu 300º documento do dia simplesmente não aplica a mesma atenção que aplicou ao documento número 30. Estudos sobre a consistência dos revisores mostram que o mesmo revisor codificará o mesmo documento de forma diferente 20-30% das vezes quando reapresentado com documentos que já revisou.

A inconsistência entre revisores de uma equipe agrava o problema. Em uma revisão linear típica com 20 advogados contratados, cada revisor desenvolve sua própria interpretação do critério de relevância, independentemente de quão detalhado seja o protocolo de revisão. Documentos limítrofes, aqueles que poderiam razoavelmente ser codificados de qualquer forma, recebem tratamento inconsistente. Alguns revisores são agressivos ao codificar documentos como responsivos; outros são conservadores. Essa inconsistência introduz ruído sistemático na revisão.

Distração e alternância de contexto também desempenham um papel. Revisores lineares veem documentos em ordem essencialmente aleatória. Um revisor contratado pode olhar um e-mail sobre o lançamento de um produto, depois uma planilha financeira, depois um e-mail pessoal, depois um documento regulatório. A constante alternância de contexto dificulta manter uma compreensão coerente de como documentos individuais se relacionam com a narrativa do caso.

A TAR evita esses problemas porque o algoritmo aplica os mesmos critérios a cada documento com perfeita consistência. Ele não se cansa, não perde o foco após o almoço e não desenvolve interpretações idiossincráticas do protocolo de codificação.

A Comparação de Custos em Detalhe

A diferença de custo por documento ($0,31 vs $0,78) reflete vários fatores. A TAR requer menos tempo total de advogado porque a maioria dos documentos é pontuada pelo algoritmo em vez de revisada por humanos. A revisão humana que a TAR exige é focada nos documentos de maior valor, o que significa que advogados seniores dedicam seu tempo a materiais substantivamente importantes em vez de percorrer e-mails obviamente irrelevantes.

A comparação de custos parece ainda mais favorável para a TAR quando se incluem custos indiretos. A revisão linear requer uma gestão de projeto mais extensa porque equipes de revisão maiores criam mais sobrecarga de coordenação. O controle de qualidade para revisão linear requer tamanhos de amostragem maiores porque a taxa de erro base é mais alta. Os custos de hospedagem são semelhantes para ambas as abordagens, mas o prazo mais curto da TAR significa menos despesa total de hospedagem.

Em casos com coleções de documentos acima de 2 milhões, a diferença de custo aumenta ainda mais porque os custos fixos da TAR (licenciamento de tecnologia, treinamento de modelo, validação) são distribuídos por mais documentos, enquanto os custos da revisão linear escalam linearmente com o volume.

Onde a Revisão Linear Ainda Tem um Papel

A TAR não elimina completamente a necessidade de revisão humana. Vários cenários ainda favorecem algum grau de revisão linear.

A revisão de privilégio é o mais importante. Embora a TAR possa sinalizar documentos potencialmente privilegiados, a determinação final de privilégio requer julgamento humano cuidadoso porque as consequências de produzir um documento privilegiado podem ser graves. A maioria dos escritórios usa a TAR para identificar documentos provavelmente privilegiados e depois aplica revisão linear a esse subconjunto.

A identificação de documentos-chave também se beneficia da revisão humana. A TAR pode classificar documentos por relevância, mas identificar quais documentos responsivos são particularmente importantes para a estratégia do caso requer julgamento jurídico que algoritmos não conseguem replicar. Muitos escritórios usam uma abordagem híbrida: a TAR identifica todos os documentos responsivos, e então advogados seniores revisam os documentos mais bem classificados para identificar aqueles que conduzirão depoimentos, petições e estratégia de julgamento.

Coleções pequenas de documentos (abaixo de 100.000 documentos) podem não justificar os custos de configuração da TAR. O licenciamento de tecnologia, treinamento de modelo e processo de validação têm um custo mínimo que pode exceder o custo de uma revisão linear focada em conjuntos menores.

Para escritórios de advocacia avaliando seus investimentos em tecnologia de revisão, os dados desses 12 casos apresentam o argumento claramente. A TAR não é apenas uma ferramenta de redução de custos. É uma ferramenta de melhoria de qualidade que também custa menos. Os escritórios que reconheceram isso cedo já construíram o conhecimento institucional para implementar a TAR de forma eficaz; os escritórios que não o fizeram estão competindo em desvantagem estrutural tanto em preço quanto em qualidade.

O Que os Dados de Tendência Mostram

Os dados do escritório também mostraram que o desempenho da TAR melhorou ao longo dos casos sucessivos. O primeiro caso que trataram com TAR mostrou uma taxa de recall de 76%. No décimo segundo caso, o recall havia subido para 94%. Essa curva de melhoria reflete a crescente expertise da equipe em treinar modelos, selecionar conjuntos de sementes e calibrar protocolos de validação, e não melhorias na tecnologia subjacente.

A implicação é que existe uma curva de aprendizado significativa para a adoção da TAR. Escritórios que executam seu primeiro projeto de TAR podem não ver resultados tão fortes quanto escritórios com práticas de TAR estabelecidas. Mas a melhoria acontece relativamente rápido, tipicamente dentro de 3-4 casos, após os quais o processo se torna rotineiro e os benefícios se tornam consistentes. O investimento na construção dessa competência se paga dentro do primeiro ano para qualquer escritório com um volume regular de revisões de documentos em grande escala.