一家大型诉讼律师事务所在12个案件中详细追踪了各项指标，这些案件中他们在可比较的文档集上同时使用了技术辅助审查（TAR）和传统线性审查。由于每个案件涉及相同的案件、相同的文档和相同的相关性标准，这些数据消除了两种方法比较中常见的不对等问题。结果差距悬殊。
TAR的平均召回率为89.4%，而线性审查为67.2%。TAR的平均每份文档成本为0.31美元，而线性审查为0.78美元。TAR平均在4.3周内完成审查，而线性审查需要11.7周。在事务所追踪的每一项指标上，技术辅助审查都优于人工审查。
对比方法论
该事务所的对比并非学术演练。在几个较大的案件中，他们对完整文档集运行TAR，同时将一个子集分配给线性审查团队进行质量基准测试。在其他案件中，他们使用TAR进行初步审查，使用线性审查进行质量控制抽样，从而生成并排的准确性数据。
文档集规模从20万份到680万份不等。丰富度（实际相关文档的百分比）从2.1%到11.4%不等。案件类型包括反垄断诉讼、证券欺诈、专利侵权和劳动集体诉讼。
该事务所在每个案件中衡量了五个关键指标：召回率（找到的相关文档百分比）、精确率（被编码为相关的文档中实际相关的百分比）、每份文档审查成本、完成所需日历时间，以及质量控制样本的缺陷率。
为什么线性审查在准确性上表现不佳
最令人意外的发现不是TAR更便宜或更快，而是TAR更准确。人们一直以来的假设是，人工审查虽然昂贵，但至少能捕捉到所有内容。数据并不支持这一假设。
线性审查的准确性受到几个结构性问题的影响。审查疲劳是最显著的问题。一位合同律师在审查当天第300份文档时，注意力根本无法与审查第30份文档时相比。关于审查一致性的研究表明，同一位审查人员在重新面对已审查过的文档时，有20-30%的概率会做出不同的编码判断。
团队内部审查人员之间的不一致性使问题更加复杂。在一个由20名合同律师组成的典型线性审查中，无论审查协议多么详细，每位审查人员都会形成自己对相关性标准的理解。边界文档——那些合理地可以被编码为任一结果的文档——得到的处理不一致。一些审查人员倾向于积极地将文档编码为相关；另一些则较为保守。这种不一致性在审查中引入了系统性噪音。
分心和上下文切换也起到了一定作用。线性审查人员看到的文档基本上是随机排列的。一位合同审查人员可能先看一封关于产品发布的邮件，然后是一份财务电子表格，接着是一封私人邮件，再然后是一份监管文件。不断的上下文切换使得审查人员难以保持对单个文档与案件叙事之间关系的连贯理解。
TAR避免了这些问题，因为算法以完美的一致性对每份文档应用相同的标准。它不会疲劳，午饭后不会失去注意力，也不会形成对编码协议的特异性解读。
详细的成本对比
每份文档的成本差异（0.31美元 vs 0.78美元）反映了几个因素。TAR所需的律师总时间更少，因为大多数文档由算法评分而非人工审查。TAR确实需要的人工审查集中在最高价值的文档上，这意味着资深律师将时间花在实质性重要的材料上，而不是费力翻阅明显无关的邮件。
如果将间接成本纳入考量，TAR的成本优势更加明显。线性审查需要更广泛的项目管理，因为更大的审查团队带来更多的协调开销。线性审查的质量控制需要更大的抽样规模，因为基础错误率更高。两种方法的托管成本相似，但TAR更短的时间线意味着更少的总托管费用。
在文档集超过200万份的案件中，成本差距进一步扩大，因为TAR的固定成本（技术许可、模型训练、验证）分摊到更多文档上，而线性审查成本随数量线性增长。
线性审查仍有用武之地
TAR并不能完全消除人工审查的需求。在几种场景下，一定程度的线性审查仍然更为适合。
特权审查是最重要的场景。虽然TAR可以标记潜在的特权文档，但最终的特权判定需要谨慎的人工判断，因为提交特权文档的后果可能非常严重。大多数事务所使用TAR识别可能的特权文档，然后对该子集进行线性审查。
关键文档识别也受益于人工审查。TAR可以按相关性对文档进行排名，但识别哪些相关文档对案件策略特别重要需要算法无法复制的法律判断。许多事务所采用混合方法：TAR识别所有相关文档，然后资深律师审查排名靠前的文档，以确定将推动证人询问、动议和审判策略的关键文档。
小型文档集（低于10万份文档）可能不足以证明TAR的设置成本是合理的。技术许可、模型训练和验证过程有一个最低成本底线，在较小的文档集上可能超过集中线性审查的成本。
对于正在评估审查技术投资的律师事务所来说，这12个案件的数据清楚地说明了问题。TAR不仅仅是一个降低成本的工具，它是一个质量提升工具，同时恰好成本更低。早期认识到这一点的事务所已经建立了有效部署TAR的机构知识；而尚未认识到这一点的事务所在价格和质量上都处于结构性劣势。
趋势数据揭示了什么
该事务所的数据还显示，TAR的表现在连续案件中不断提升。他们使用TAR处理的第一个案件召回率为76%。到第十二个案件时，召回率已攀升至94%。这一提升曲线反映的是团队在模型训练、种子集选择和验证协议校准方面日益增长的专业能力，而非底层技术的改进。
这意味着TAR的采用存在一个有意义的学习曲线。首次运行TAR项目的事务所可能不会看到与拥有成熟TAR实践的事务所同样强劲的结果。但改进发生得相对较快，通常在3-4个案件内，之后流程变得常规化，收益也变得稳定。对于任何有大量大规模文档审查需求的事务所来说，建立这种能力的投资在第一年内就能收回成本。