Revue assistée par la technologie vs revue linéaire : comparaison réelle des coûts et de la précision
Un grand cabinet d'avocats spécialisé en contentieux a suivi des métriques détaillées sur 12 dossiers où il a utilisé à la fois la revue assistée par la technologie (TAR) et la revue linéaire traditionnelle sur des ensembles de documents comparables. Les données éliminent le problème habituel de comparaison biaisée entre les deux approches, car chaque dossier impliquait la même affaire, les mêmes documents et les mêmes critères de pertinence. Les résultats n'étaient pas serrés.
La TAR a produit un taux de rappel moyen de 89,4 % contre 67,2 % pour la revue linéaire. La TAR a coûté en moyenne 0,31 $ par document contre 0,78 $ pour la revue linéaire. La TAR a complété la revue en moyenne en 4,3 semaines contre 11,7 semaines pour la revue linéaire. Sur chaque métrique suivie par le cabinet, la revue assistée par la technologie a surpassé la revue manuelle.
La méthodologie derrière la comparaison
La comparaison du cabinet n'était pas un exercice académique. Sur plusieurs de leurs dossiers les plus importants, ils ont exécuté la TAR sur l'ensemble de la collection de documents tout en assignant simultanément un sous-ensemble à des équipes de revue linéaire pour un benchmarking de qualité. Sur d'autres dossiers, ils ont utilisé la TAR pour la revue initiale et la revue linéaire pour l'échantillonnage de contrôle qualité, générant des données de précision côte à côte.
Les collections de documents allaient de 200 000 à 6,8 millions de documents. Les taux de richesse (le pourcentage de documents réellement pertinents) allaient de 2,1 % à 11,4 %. La variété des types d'affaires comprenait des litiges antitrust, des fraudes boursières, des contrefaçons de brevets et des recours collectifs en droit du travail.
Le cabinet a mesuré cinq métriques clés sur chaque dossier : le rappel (pourcentage de documents pertinents trouvés), la précision (pourcentage de documents codés comme pertinents qui l'étaient réellement), le coût par document examiné, le délai calendaire jusqu'à l'achèvement et le taux de défauts sur les échantillons de contrôle qualité.
Pourquoi la revue linéaire sous-performe en matière de précision
La conclusion qui surprend la plupart des gens n'est pas que la TAR est moins chère ou plus rapide. C'est que la TAR est plus précise. L'hypothèse a toujours été que la revue humaine, bien que coûteuse, attrape au moins tout. Les données ne soutiennent pas cette hypothèse.
La précision de la revue linéaire souffre de plusieurs problèmes structurels. La fatigue des réviseurs est le plus significatif. Un avocat contractuel examinant son 300e document de la journée n'applique tout simplement pas la même attention qu'au document numéro 30. Les études sur la cohérence des réviseurs montrent que le même réviseur codera le même document différemment 20 à 30 % du temps lorsqu'on lui représente des documents qu'il a déjà examinés.
L'incohérence entre réviseurs au sein d'une équipe aggrave le problème. Dans une revue linéaire typique avec 20 avocats contractuels, chaque réviseur développe sa propre interprétation du critère de pertinence, peu importe le niveau de détail du protocole de revue. Les documents limites, ceux qui pourraient raisonnablement être codés dans un sens ou dans l'autre, reçoivent un traitement incohérent. Certains réviseurs sont agressifs dans le codage des documents comme pertinents ; d'autres sont conservateurs. Cette incohérence introduit un bruit systématique dans la revue.
La distraction et le changement de contexte jouent également un rôle. Les réviseurs linéaires voient les documents dans un ordre essentiellement aléatoire. Un réviseur contractuel peut examiner un courriel sur le lancement d'un produit, puis un tableur financier, puis un courriel personnel, puis un dépôt réglementaire. Le changement de contexte constant rend difficile le maintien d'une compréhension cohérente de la façon dont les documents individuels se rapportent au récit de l'affaire.
La TAR évite ces problèmes car l'algorithme applique les mêmes critères à chaque document avec une cohérence parfaite. Il ne se fatigue pas, il ne perd pas sa concentration après le déjeuner et il ne développe pas d'interprétations idiosyncrasiques du protocole de codage.
La comparaison des coûts en détail
La différence de coût par document (0,31 $ contre 0,78 $) reflète plusieurs facteurs. La TAR nécessite moins de temps total d'avocat car la plupart des documents sont notés par l'algorithme plutôt qu'examinés par des humains. La revue humaine que la TAR requiert est concentrée sur les documents à plus haute valeur, ce qui signifie que les avocats seniors consacrent leur temps à des documents substantiellement importants plutôt qu'à parcourir des courriels manifestement non pertinents.
La comparaison des coûts est encore plus favorable à la TAR lorsque vous incluez les coûts indirects. La revue linéaire nécessite une gestion de projet plus étendue car des équipes de revue plus importantes créent plus de frais de coordination. Le contrôle qualité pour la revue linéaire nécessite des tailles d'échantillonnage plus grandes car le taux d'erreur de base est plus élevé. Les coûts d'hébergement sont similaires pour les deux approches, mais le délai plus court de la TAR signifie moins de dépenses totales d'hébergement.
Sur les dossiers avec des collections de documents supérieures à 2 millions, l'écart de coût se creuse davantage car les coûts fixes de la TAR (licence technologique, entraînement du modèle, validation) sont répartis sur plus de documents tandis que les coûts de la revue linéaire augmentent linéairement avec le volume.
Où la revue linéaire a encore un rôle
La TAR n'élimine pas entièrement le besoin de revue humaine. Plusieurs scénarios favorisent encore un certain degré de revue linéaire.
La revue des privilèges est le plus important. Bien que la TAR puisse signaler les documents potentiellement privilégiés, la détermination finale du privilège nécessite un jugement humain attentif car les conséquences de la production d'un document privilégié peuvent être graves. La plupart des cabinets utilisent la TAR pour identifier les documents probablement privilégiés, puis appliquent une revue linéaire à ce sous-ensemble.
L'identification des documents clés bénéficie également de la revue humaine. La TAR peut classer les documents par pertinence, mais identifier quels documents pertinents sont particulièrement importants pour la stratégie du dossier nécessite un jugement juridique que les algorithmes ne peuvent pas reproduire. De nombreux cabinets utilisent une approche hybride : la TAR identifie tous les documents pertinents, puis les avocats seniors examinent les documents les mieux classés pour identifier ceux qui orienteront les dépositions, les requêtes et la stratégie de procès.
Les petites collections de documents (en dessous de 100 000 documents) peuvent ne pas justifier les coûts de mise en place de la TAR. La licence technologique, l'entraînement du modèle et le processus de validation ont un coût plancher minimum qui peut dépasser le coût d'une revue linéaire ciblée sur des ensembles plus petits.
Pour les cabinets d'avocats évaluant leurs investissements en technologie de revue, les données de ces 12 dossiers plaident clairement. La TAR n'est pas seulement un outil de réduction des coûts. C'est un outil d'amélioration de la qualité qui se trouve aussi coûter moins cher. Les cabinets qui l'ont reconnu tôt ont déjà construit le savoir institutionnel pour déployer la TAR efficacement ; ceux qui ne l'ont pas fait sont en concurrence avec un désavantage structurel tant sur le prix que sur la qualité.
Ce que montrent les données de tendance
Les données du cabinet ont également montré que les performances de la TAR se sont améliorées au fil des dossiers successifs. Le premier dossier qu'ils ont traité avec la TAR affichait un taux de rappel de 76 %. Au douzième dossier, le rappel avait grimpé à 94 %. Cette courbe d'amélioration reflète l'expertise croissante de l'équipe dans l'entraînement des modèles, la sélection des ensembles de départ et le calibrage des protocoles de validation, plutôt que des améliorations de la technologie sous-jacente.
L'implication est qu'il existe une courbe d'apprentissage significative pour l'adoption de la TAR. Les cabinets qui exécutent leur premier projet TAR peuvent ne pas voir des résultats aussi solides que les cabinets ayant des pratiques TAR établies. Mais l'amélioration se produit relativement rapidement, généralement en 3 à 4 dossiers, après quoi le processus devient routinier et les bénéfices deviennent constants. L'investissement dans le développement de cette compétence se rentabilise dès la première année pour tout cabinet ayant un volume régulier de revues de documents à grande échelle.