Revisione assistita dalla tecnologia vs revisione lineare: confronto reale su costi e accuratezza
Un grande studio legale specializzato in contenzioso ha monitorato metriche dettagliate su 12 casi in cui ha utilizzato sia la revisione assistita dalla tecnologia (TAR) sia la tradizionale revisione lineare su set di documenti comparabili. I dati eliminano il consueto problema del confronto tra elementi non omogenei, poiché ogni caso coinvolgeva la stessa causa, gli stessi documenti e gli stessi standard di rilevanza. I risultati non sono stati nemmeno lontanamente paragonabili.
La TAR ha prodotto un tasso medio di recall dell'89,4% rispetto al 67,2% della revisione lineare. La TAR è costata in media $0,31 per documento rispetto a $0,78 per la revisione lineare. La TAR ha completato la revisione in una media di 4,3 settimane rispetto alle 11,7 settimane della revisione lineare. Su ogni metrica monitorata dallo studio, la revisione assistita dalla tecnologia ha superato la revisione manuale.
La metodologia alla base del confronto
Il confronto dello studio non è stato un esercizio accademico. Su diversi dei loro casi più grandi, hanno eseguito la TAR sull'intera raccolta documentale, assegnando contemporaneamente un sottoinsieme a team di revisione lineare per il benchmarking qualitativo. Su altri casi, hanno utilizzato la TAR per la revisione iniziale e la revisione lineare per il campionamento di controllo qualità, generando dati di accuratezza comparativi.
Le raccolte documentali variavano da 200.000 a 6,8 milioni di documenti. I tassi di richness (la percentuale di documenti effettivamente rilevanti) variavano dal 2,1% all'11,4%. La varietà di tipologie di casi includeva contenzioso antitrust, frode sui titoli, violazione di brevetti e azioni collettive in materia di lavoro.
Lo studio ha misurato cinque metriche chiave su ogni caso: recall (percentuale di documenti rilevanti trovati), precision (percentuale di documenti codificati come rilevanti che lo erano effettivamente), costo per documento revisionato, tempo di calendario per il completamento e tasso di difettosità sui campioni di controllo qualità.
Perché la revisione lineare è meno accurata
La scoperta che sorprende la maggior parte delle persone non è che la TAR sia più economica o più veloce. È che la TAR è più accurata. L'assunto è sempre stato che la revisione umana, per quanto costosa, almeno individua tutto. I dati non supportano questo assunto.
L'accuratezza della revisione lineare soffre di diversi problemi strutturali. L'affaticamento del revisore è il più significativo. Un avvocato a contratto che revisiona il suo 300° documento della giornata semplicemente non applica la stessa attenzione che dedicava al documento numero 30. Gli studi sulla coerenza dei revisori mostrano che lo stesso revisore codificherà lo stesso documento in modo diverso il 20-30% delle volte quando gli vengono ripresentati documenti che ha già revisionato.
L'incoerenza tra i revisori di un team amplifica il problema. In una tipica revisione lineare con 20 avvocati a contratto, ogni revisore sviluppa la propria interpretazione dello standard di rilevanza, indipendentemente da quanto sia dettagliato il protocollo di revisione. I documenti borderline, quelli che potrebbero ragionevolmente essere codificati in entrambi i modi, ricevono un trattamento incoerente. Alcuni revisori sono aggressivi nel codificare i documenti come pertinenti; altri sono conservativi. Questa incoerenza introduce rumore sistematico nella revisione.
Anche la distrazione e il cambio di contesto giocano un ruolo. I revisori lineari vedono i documenti in ordine essenzialmente casuale. Un revisore a contratto potrebbe esaminare un'email sul lancio di un prodotto, poi un foglio di calcolo finanziario, poi un'email personale, poi un documento normativo. Il costante cambio di contesto rende difficile mantenere una comprensione coerente di come i singoli documenti si relazionano alla narrativa del caso.
La TAR evita questi problemi perché l'algoritmo applica gli stessi criteri a ogni documento con perfetta coerenza. Non si stanca, non perde concentrazione dopo pranzo e non sviluppa interpretazioni idiosincratiche del protocollo di codifica.
Il confronto dei costi nel dettaglio
La differenza di costo per documento ($0,31 vs $0,78) riflette diversi fattori. La TAR richiede meno tempo totale degli avvocati perché la maggior parte dei documenti viene valutata dall'algoritmo anziché revisionata da persone. La revisione umana che la TAR richiede è focalizzata sui documenti di maggior valore, il che significa che gli avvocati senior dedicano il loro tempo a materiali sostanzialmente importanti anziché scorrere email palesemente irrilevanti.
Il confronto dei costi appare ancora più favorevole alla TAR quando si includono i costi indiretti. La revisione lineare richiede una gestione del progetto più estesa perché team di revisione più grandi creano maggiori costi di coordinamento. Il controllo qualità per la revisione lineare richiede campioni di dimensioni maggiori perché il tasso di errore di base è più alto. I costi di hosting sono simili per entrambi gli approcci, ma la tempistica più breve della TAR comporta una spesa totale di hosting inferiore.
Sui casi con raccolte documentali superiori a 2 milioni, il divario di costo si amplia ulteriormente perché i costi fissi della TAR (licenze tecnologiche, addestramento del modello, validazione) vengono distribuiti su più documenti, mentre i costi della revisione lineare scalano linearmente con il volume.
Dove la revisione lineare ha ancora un ruolo
La TAR non elimina completamente la necessità della revisione umana. Diversi scenari favoriscono ancora un certo grado di revisione lineare.
La revisione del privilegio legale è il più importante. Sebbene la TAR possa segnalare documenti potenzialmente coperti da privilegio, la determinazione finale del privilegio richiede un attento giudizio umano perché le conseguenze della produzione di un documento privilegiato possono essere gravi. La maggior parte degli studi utilizza la TAR per identificare i documenti probabilmente coperti da privilegio e poi applica la revisione lineare a quel sottoinsieme.
Anche l'identificazione dei documenti chiave beneficia della revisione umana. La TAR può classificare i documenti per rilevanza, ma identificare quali documenti pertinenti sono particolarmente importanti per la strategia del caso richiede un giudizio legale che gli algoritmi non possono replicare. Molti studi utilizzano un approccio ibrido: la TAR identifica tutti i documenti pertinenti, e poi gli avvocati senior revisionano i documenti con il punteggio più alto per identificare quelli che guideranno deposizioni, istanze e strategia processuale.
Raccolte documentali piccole (sotto i 100.000 documenti) potrebbero non giustificare i costi di configurazione della TAR. Le licenze tecnologiche, l'addestramento del modello e il processo di validazione hanno un costo minimo fisso che può superare il costo di una revisione lineare mirata su set più piccoli.
Per gli studi legali che valutano i propri investimenti in tecnologie di revisione, i dati di questi 12 casi parlano chiaramente. La TAR non è solo uno strumento per ridurre i costi. È uno strumento di miglioramento della qualità che, tra l'altro, costa anche meno. Gli studi che lo hanno riconosciuto per primi hanno già costruito le competenze istituzionali per implementare la TAR in modo efficace; quelli che non lo hanno fatto competono con uno svantaggio strutturale sia sul prezzo che sulla qualità.
Cosa mostrano i dati sulle tendenze
I dati dello studio hanno anche mostrato che le prestazioni della TAR sono migliorate nei casi successivi. Il primo caso gestito con la TAR ha mostrato un tasso di recall del 76%. Entro il dodicesimo caso, il recall era salito al 94%. Questa curva di miglioramento riflette la crescente competenza del team nell'addestramento dei modelli, nella selezione dei seed set e nella calibrazione dei protocolli di validazione, piuttosto che miglioramenti nella tecnologia sottostante.
L'implicazione è che esiste una curva di apprendimento significativa per l'adozione della TAR. Gli studi che eseguono il loro primo progetto TAR potrebbero non ottenere risultati altrettanto solidi rispetto a studi con pratiche TAR consolidate. Ma il miglioramento avviene relativamente in fretta, tipicamente entro 3-4 casi, dopo i quali il processo diventa routinario e i benefici diventano costanti. L'investimento nella costruzione di questa competenza si ripaga da solo entro il primo anno per qualsiasi studio con un volume regolare di revisioni documentali su larga scala.