Reducción de costos en e-Discovery: cómo la codificación predictiva ahorró $2.3 millones a un bufete

Una empresa farmacéutica que enfrentaba un litigio multidistrital tenía una obligación de descubrimiento que abarcaba 4.2 millones de documentos. La estimación inicial para una revisión lineal tradicional, con abogados contratados procesando documentos uno por uno, ascendía a $3.4 millones durante 14 meses. El bufete propuso codificación predictiva en su lugar. El costo total de la revisión asistida por tecnología: $1.1 millones en 5 meses, con métricas de defensibilidad que superaron lo que típicamente logra la revisión lineal.

La diferencia de $2.3 millones no se trataba solo de gastar menos dinero. La compresión del cronograma importaba más al cliente que el ahorro de costos porque la estrategia de litigio dependía de completar el descubrimiento antes de una fecha límite regulatoria clave.

Cómo funciona realmente la codificación predictiva

La codificación predictiva, a veces llamada revisión asistida por tecnología (TAR) o aprendizaje activo continuo (CAL), utiliza aprendizaje automático para priorizar la revisión de documentos. El proceso comienza con un abogado senior revisando un conjunto semilla de documentos, típicamente entre 1,000 y 2,000 documentos seleccionados para representar la gama de cuestiones del caso. El abogado codifica cada documento como relevante, no relevante o privilegiado.

El algoritmo aprende de estas decisiones de codificación y clasifica los documentos restantes por relevancia predicha. Los documentos con mayor puntuación se revisan a continuación, y esas decisiones de codificación entrenan aún más el modelo. Con cada iteración, el algoritmo mejora en predecir qué documentos son relevantes.

La ganancia en eficiencia proviene del hecho de que la mayoría de las grandes colecciones de documentos son abrumadoramente no relevantes. En un litigio comercial típico, solo el 3-8% de los documentos recopilados son realmente pertinentes para el caso. La codificación predictiva identifica este subconjunto relevante sin requerir la revisión humana del otro 92-97%. En el caso farmacéutico, solo el 4.1% de los 4.2 millones de documentos fueron finalmente codificados como relevantes, lo que significaba que el enfoque de revisión lineal habría requerido que los abogados revisaran 4 millones de documentos irrelevantes para encontrar los 172,000 que importaban.

El desglose de costos

Los costos de la revisión lineal son sencillos de calcular. Los abogados contratados típicamente facturan entre $45 y $75 por hora para revisión de documentos. Un revisor experimentado procesa entre 50 y 70 documentos por hora. Para 4.2 millones de documentos a 60 documentos por hora y $55 por hora, el cálculo produce aproximadamente $3.85 millones solo en costos de revisores, más gestión de proyectos, control de calidad y tarifas de alojamiento. La estimación de $3.4 millones del bufete ya había asumido algunas ganancias de eficiencia por procesamiento por lotes y filtrado por palabras clave.

Los costos de la codificación predictiva se distribuyeron de manera diferente. La licencia de tecnología y el alojamiento costaron aproximadamente $180,000. El tiempo del abogado senior para entrenar el modelo, revisar el conjunto semilla y realizar rondas de validación totalizó aproximadamente $320,000. La revisión de los documentos priorizados por la IA por un equipo más pequeño de abogados experimentados costó $480,000. El control de calidad y las pruebas de defensibilidad añadieron otros $120,000.

El costo por documento bajó de aproximadamente $0.81 con la revisión lineal a $0.26 con la codificación predictiva. Escalado a 4.2 millones de documentos, esos ahorros por unidad se acumulan de manera dramática.

Preocupaciones sobre la defensibilidad y cómo se abordaron

La objeción más común a la codificación predictiva es la defensibilidad. La parte contraria puede argumentar que el algoritmo omitió documentos relevantes. Los tribunales han abordado esta cuestión repetidamente desde la opinión histórica del juez Andrew Peck en 2012 en Da Silva Moore, y el consenso se ha inclinado firmemente hacia aceptar la revisión asistida por tecnología como razonable, y en algunos casos más defendible que la revisión lineal.

El argumento de la defensibilidad en realidad favorece a la codificación predictiva de varias maneras. Primero, el proceso genera métricas detalladas: precisión, exhaustividad, puntuaciones F1 y cálculos de riqueza que cuantifican exactamente cuán exhaustiva fue la revisión. La revisión lineal no produce métricas de calidad comparables. Un bufete que realiza una revisión lineal puede informar que los abogados revisaron cada documento, pero no puede cuantificar cuán precisos fueron esos abogados.

Segundo, la codificación predictiva permite la validación estadística. En el caso farmacéutico, el bufete extrajo una muestra aleatoria de 2,500 documentos que el algoritmo había clasificado como no relevantes y los hizo revisar manualmente por abogados senior. La tasa de elusión (el porcentaje de documentos relevantes en el conjunto no relevante) fue del 1.2%, lo que se traduce en una tasa de exhaustividad superior al 96%. La mayoría de las revisiones lineales, cuando se someten a pruebas de calidad similares, muestran tasas de exhaustividad entre el 60% y el 80%.

Tercero, todo el proceso está documentado y es reproducible. Las decisiones del conjunto semilla, las iteraciones de entrenamiento del algoritmo, la metodología de validación y los resultados quedan todos registrados. Si la parte contraria impugna la revisión, el bufete puede presentar un registro completo de cómo se tomó cada decisión de codificación.

Cuándo tiene sentido la codificación predictiva

La codificación predictiva produce los mayores ahorros de costos en grandes colecciones de documentos, generalmente por encima de 500,000 documentos. Por debajo de ese umbral, los costos de configuración y el tiempo del abogado para entrenar el modelo pueden no justificar la inversión en comparación con una revisión lineal bien gestionada con filtrado por palabras clave.

La tecnología funciona mejor cuando los documentos relevantes comparten patrones identificables, ya sea en lenguaje, participantes, rangos de fechas o temática. Los casos que involucran eventos discretos (un defecto específico de producto, una transacción particular, un período de tiempo definido de presunta conducta indebida) tienden a producir mejores resultados de codificación predictiva que los casos que involucran conductas difusas y continuas donde la relevancia es más difícil de definir.

Los casos con múltiples cuestiones presentan tanto una oportunidad como un desafío. El algoritmo puede entrenarse para identificar documentos relevantes para diferentes cuestiones simultáneamente, lo cual es más eficiente que ejecutar revisiones separadas para cada cuestión. Pero el conjunto de entrenamiento necesita incluir ejemplos de cada cuestión, lo que aumenta el tiempo del abogado senior requerido para las rondas iniciales de codificación.

Para los bufetes de abogados que gestionan litigios complejos, la capacidad de ofrecer codificación predictiva como herramienta estándar se ha convertido en un diferenciador competitivo. Los clientes esperan cada vez más que sus bufetes utilicen revisión asistida por tecnología en casos grandes, y son reacios a pagar por una revisión lineal cuando existe una alternativa más eficiente.

Cómo se ven los números en diferentes tamaños de caso

Los $2.3 millones de ahorro en el caso farmacéutico representan un ejemplo a gran escala, pero los ahorros proporcionales se aplican en diferentes tamaños de caso. En una colección de 1 millón de documentos, los bufetes típicamente reportan reducciones de costos del 55-65% en comparación con la revisión lineal. En colecciones superiores a 5 millones de documentos, los ahorros a menudo superan el 75% porque los costos fijos de configurar el flujo de trabajo de codificación predictiva se amortizan entre más documentos.

Los ahorros de tiempo siguen un patrón similar. Una revisión lineal de 4.2 millones de documentos que tomaría 14 meses puede completarse en 4-6 meses con codificación predictiva, dependiendo de la complejidad de las cuestiones y los requisitos de validación. Para casos con calendarios de litigio agresivos, esta compresión de tiempo puede ser más valiosa que el ahorro de costos.

El cálculo se vuelve interesante cuando se tiene en cuenta la precisión. Si la codificación predictiva logra un 96% de exhaustividad en comparación con el 75% de la revisión lineal, el enfoque asistido por tecnología no solo es más barato y más rápido. También encuentra más documentos relevantes. Los documentos que la revisión lineal omite tienden a ser aquellos con lenguaje inusual o relevancia inesperada, exactamente los documentos que pueden cambiar la trayectoria de un caso. Gastar menos dinero y obtener mejores resultados es una combinación que hace que la decisión de adopción sea sencilla para los bufetes dispuestos a invertir en la curva de aprendizaje inicial.