Technology Assisted Review vs Lineaire Review: Echte Kosten- en Nauwkeurigheidsvergelijking

Een groot proceskantoor hield gedetailleerde statistieken bij over 12 zaken waarin ze zowel technology-assisted review (TAR) als traditionele lineaire review gebruikten op vergelijkbare documentsets. De data elimineert het gebruikelijke appels-met-peren-probleem bij het vergelijken van de twee benaderingen, omdat elke zaak dezelfde casus, dezelfde documenten en dezelfde relevantienormen betrof. De resultaten waren niet eens in de buurt.

TAR produceerde een gemiddeld recall-percentage van 89,4% vergeleken met 67,2% voor lineaire review. TAR kostte gemiddeld $0,31 per document vergeleken met $0,78 voor lineaire review. TAR voltooide de review in gemiddeld 4,3 weken vergeleken met 11,7 weken voor lineaire review. Op elke metric die het kantoor bijhield, presteerde technology-assisted review beter dan handmatige review.

De Methodologie Achter de Vergelijking

De vergelijking van het kantoor was geen academische oefening. Bij verschillende van hun grotere zaken voerden ze TAR uit op de volledige documentcollectie terwijl ze tegelijkertijd een subset toewezen aan lineaire reviewteams voor kwaliteitsbenchmarking. Bij andere zaken gebruikten ze TAR voor de initiële review en lineaire review voor kwaliteitscontrolesteekproeven, waardoor ze naast elkaar nauwkeurigheidsdata genereerden.

De documentcollecties varieerden van 200.000 tot 6,8 miljoen documenten. Richness rates (het percentage documenten dat daadwerkelijk relevant was) varieerden van 2,1% tot 11,4%. De verscheidenheid aan zaaktypen omvatte antitrustlitigation, effectenfraude, octrooiinbreuk en arbeidsrechtelijke collectieve acties.

Het kantoor mat vijf belangrijke metrics over elke zaak: recall (percentage gevonden relevante documenten), precision (percentage als relevant gecodeerde documenten dat daadwerkelijk relevant was), kosten per beoordeeld document, kalendertijd tot voltooiing en foutpercentage bij kwaliteitscontrolesteekproeven.

Waarom Lineaire Review Onderpresteerd op Nauwkeurigheid

De bevinding die de meeste mensen verrast, is niet dat TAR goedkoper of sneller is. Het is dat TAR nauwkeuriger is. De aanname is altijd geweest dat menselijke review, hoewel duur, op zijn minst alles opvangt. De data ondersteunt deze aanname niet.

De nauwkeurigheid van lineaire review lijdt onder verschillende structurele problemen. Vermoeidheid bij reviewers is het meest significant. Een contractadvocaat die zijn 300e document van de dag beoordeelt, besteedt simpelweg niet dezelfde aandacht als bij document nummer 30. Studies naar reviewerconsistentie tonen aan dat dezelfde reviewer hetzelfde document 20-30% van de tijd anders codeert wanneer documenten opnieuw worden aangeboden die ze al hebben beoordeeld.

Inconsistentie tussen reviewers binnen een team verergert het probleem. Bij een typische lineaire review met 20 contractadvocaten ontwikkelt elke reviewer zijn eigen interpretatie van de relevantienorm, hoe gedetailleerd het reviewprotocol ook is. Grensgevaldocumenten, die redelijkerwijs op beide manieren gecodeerd zouden kunnen worden, krijgen een inconsistente behandeling. Sommige reviewers zijn agressief in het coderen van documenten als responsief; anderen zijn conservatief. Deze inconsistentie introduceert systematische ruis in de review.

Afleiding en contextwisseling spelen ook een rol. Lineaire reviewers zien documenten in een in wezen willekeurige volgorde. Een contractreviewer kan een e-mail over een productlancering bekijken, dan een financieel spreadsheet, dan een persoonlijke e-mail, dan een regelgevingsdossier. Het constante wisselen van context maakt het moeilijk om een samenhangend begrip te behouden van hoe individuele documenten zich verhouden tot het zaakverhaal.

TAR vermijdt deze problemen omdat het algoritme dezelfde criteria met perfecte consistentie op elk document toepast. Het wordt niet moe, het verliest niet de focus na de lunch en het ontwikkelt geen eigenzinnige interpretaties van het coderingsprotocol.

De Kostenvergelijking in Detail

Het kostenverschil per document ($0,31 vs $0,78) weerspiegelt verschillende factoren. TAR vereist minder totale advocaattijd omdat de meeste documenten door het algoritme worden gescoord in plaats van door mensen beoordeeld. De menselijke review die TAR wel vereist, is gericht op de documenten met de hoogste waarde, wat betekent dat senior advocaten hun tijd besteden aan inhoudelijk belangrijk materiaal in plaats van door duidelijk irrelevante e-mails te ploegen.

De kostenvergelijking valt nog gunstiger uit voor TAR wanneer je indirecte kosten meeneemt. Lineaire review vereist uitgebreider projectmanagement omdat grotere reviewteams meer coördinatieoverhead creëren. Kwaliteitscontrole voor lineaire review vereist grotere steekproefomvangen omdat het basisfoutpercentage hoger is. Hostingkosten zijn vergelijkbaar voor beide benaderingen, maar de kortere doorlooptijd voor TAR betekent minder totale hostingkosten.

Bij zaken met documentcollecties boven de 2 miljoen wordt het kostenverschil nog groter omdat de vaste kosten van TAR (technologielicenties, modeltraining, validatie) over meer documenten worden verdeeld, terwijl de kosten van lineaire review lineair meeschalen met het volume.

Waar Lineaire Review Nog Steeds een Rol Heeft

TAR elimineert de behoefte aan menselijke review niet volledig. Verschillende scenario's pleiten nog steeds voor een zekere mate van lineaire review.

Privilege review is het belangrijkst. Hoewel TAR potentieel geprivilegieerde documenten kan markeren, vereist de uiteindelijke privilegebeoordeling zorgvuldig menselijk oordeel omdat de gevolgen van het produceren van een geprivilegieerd document ernstig kunnen zijn. De meeste kantoren gebruiken TAR om waarschijnlijk geprivilegieerde documenten te identificeren en passen vervolgens lineaire review toe op die subset.

Identificatie van belangrijke documenten profiteert ook van menselijke review. TAR kan documenten rangschikken op relevantie, maar het identificeren welke responsieve documenten bijzonder belangrijk zijn voor de zaakstrategie vereist juridisch oordeel dat algoritmen niet kunnen repliceren. Veel kantoren gebruiken een hybride aanpak: TAR identificeert alle responsieve documenten, en vervolgens beoordelen senior advocaten de hoogst gerangschikte documenten om degene te identificeren die deposities, verzoeken en processtrategie zullen aansturen.

Kleine documentcollecties (onder de 100.000 documenten) rechtvaardigen mogelijk niet de opstartkosten voor TAR. Het technologielicentie-, modeltraining- en validatieproces heeft een minimale kostendrempel die de kosten van een gerichte lineaire review op kleinere sets kan overschrijden.

Voor advocatenkantoren die hun investeringen in reviewtechnologie evalueren, maken de data uit deze 12 zaken de zaak duidelijk. TAR is niet slechts een kostenbesparend instrument. Het is een kwaliteitsverbeterend instrument dat toevallig ook minder kost. De kantoren die dit vroeg herkenden, hebben al de institutionele kennis opgebouwd om TAR effectief in te zetten; de kantoren die dat niet hebben gedaan, concurreren met een structureel nadeel op zowel prijs als kwaliteit.

Wat de Trenddata Laat Zien

De data van het kantoor toonde ook aan dat de TAR-prestaties verbeterden over opeenvolgende zaken. De eerste zaak die ze met TAR behandelden, toonde een recall-percentage van 76%. Bij de twaalfde zaak was de recall gestegen naar 94%. Deze verbeteringscurve weerspiegelt de groeiende expertise van het team in het trainen van modellen, het selecteren van seed sets en het kalibreren van validatieprotocollen, in plaats van verbeteringen in de onderliggende technologie.

De implicatie is dat er een betekenisvolle leercurve is voor TAR-adoptie. Kantoren die hun eerste TAR-project uitvoeren, zien mogelijk niet zulke sterke resultaten als kantoren met gevestigde TAR-praktijken. Maar de verbetering treedt relatief snel op, doorgaans binnen 3-4 zaken, waarna het proces routine wordt en de voordelen consistent worden. De investering in het opbouwen van die competentie verdient zichzelf terug binnen het eerste jaar voor elk kantoor met een regelmatig volume aan grootschalige documentreviews.