ある大手訴訟事務所が、テクノロジー支援レビュー（TAR）と従来のリニアレビューの両方を同等のドキュメントセットに使用した12件の案件にわたって、詳細な指標を追跡しました。各案件が同じケース、同じドキュメント、同じ関連性基準を含んでいたため、このデータは2つのアプローチを比較する際によくある「異なるもの同士の比較」という問題を排除しています。結果は僅差ではありませんでした。
TARの平均再現率は89.4%であったのに対し、リニアレビューは67.2%でした。TARの1ドキュメントあたりの平均コストは0.31ドルであったのに対し、リニアレビューは0.78ドルでした。TARの平均レビュー完了期間は4.3週間であったのに対し、リニアレビューは11.7週間でした。事務所が追跡したすべての指標において、テクノロジー支援レビューは手動レビューを上回りました。
比較の方法論
この事務所の比較は学術的な演習ではありませんでした。いくつかの大規模案件では、ドキュメントコレクション全体にTARを実行すると同時に、品質ベンチマーキングのためにサブセットをリニアレビューチームに割り当てました。他の案件では、初期レビューにTARを使用し、品質管理サンプリングにリニアレビューを使用して、並行した精度データを生成しました。
ドキュメントコレクションの規模は20万件から680万件に及びました。リッチネス率（実際に関連性のあるドキュメントの割合）は2.1%から11.4%の範囲でした。ケースの種類には、独占禁止法訴訟、証券詐欺、特許侵害、雇用集団訴訟が含まれていました。
事務所はすべての案件にわたって5つの主要指標を測定しました：再現率（関連ドキュメントが発見された割合）、適合率（関連とコーディングされたドキュメントのうち実際に関連していた割合）、レビュー済みドキュメントあたりのコスト、完了までの暦日数、品質管理サンプルの欠陥率です。
リニアレビューの精度が劣る理由
多くの人を驚かせる発見は、TARがより安価または高速であるということではありません。TARがより正確であるということです。人間によるレビューは高価ではあるが、少なくともすべてを捕捉するという前提が常にありました。データはこの前提を支持していません。
リニアレビューの精度は、いくつかの構造的な問題に悩まされています。レビュアーの疲労が最も重大です。その日の300番目のドキュメントをレビューしている契約弁護士は、30番目のドキュメントに対して払ったのと同じ注意力を単純に発揮できません。レビュアーの一貫性に関する研究では、同じレビュアーが既にレビューしたドキュメントを再度提示された場合、20〜30%の確率で同じドキュメントを異なるようにコーディングすることが示されています。
チーム全体でのレビュアーの不一致が問題をさらに複雑にします。20人の契約弁護士による典型的なリニアレビューでは、レビュープロトコルがどれほど詳細であっても、各レビュアーが関連性基準について独自の解釈を発展させます。どちらにもコーディングできるボーダーラインのドキュメントは、一貫性のない扱いを受けます。一部のレビュアーはドキュメントを応答性ありとコーディングすることに積極的であり、他のレビュアーは保守的です。この不一致がレビューに体系的なノイズをもたらします。
注意散漫とコンテキストスイッチングも影響します。リニアレビュアーはドキュメントを本質的にランダムな順序で見ます。契約レビュアーは、製品発売に関するメール、次に財務スプレッドシート、次に個人的なメール、次に規制当局への提出書類を見るかもしれません。絶え間ないコンテキストスイッチングにより、個々のドキュメントがケースの全体像とどのように関連しているかについて一貫した理解を維持することが困難になります。
TARはこれらの問題を回避します。アルゴリズムがすべてのドキュメントに完全な一貫性で同じ基準を適用するためです。疲れることもなく、昼食後に集中力を失うこともなく、コーディングプロトコルの独自の解釈を発展させることもありません。
コスト比較の詳細
ドキュメントあたりのコスト差（0.31ドル対0.78ドル）は、いくつかの要因を反映しています。TARは、ほとんどのドキュメントが人間によるレビューではなくアルゴリズムによってスコアリングされるため、必要な弁護士の総時間が少なくなります。TARが必要とする人間によるレビューは、最も価値の高いドキュメントに集中しており、シニア弁護士は明らかに無関係なメールを処理するのではなく、実質的に重要な資料に時間を費やすことになります。
間接コストを含めると、TARのコスト比較はさらに有利になります。リニアレビューは、より大規模なレビューチームがより多くの調整オーバーヘッドを生み出すため、より広範なプロジェクト管理が必要です。リニアレビューの品質管理は、基本エラー率が高いため、より大きなサンプリングサイズが必要です。ホスティングコストは両方のアプローチで同様ですが、TARのタイムラインが短いため、総ホスティング費用は少なくなります。
ドキュメントコレクションが200万件を超える案件では、TARの固定費（テクノロジーライセンス、モデルトレーニング、バリデーション）がより多くのドキュメントに分散される一方、リニアレビューのコストはボリュームに比例して線形にスケールするため、コスト差はさらに拡大します。
リニアレビューがまだ役割を持つ場面
TARは人間によるレビューの必要性を完全に排除するものではありません。いくつかのシナリオでは、ある程度のリニアレビューが依然として有利です。
秘匿特権レビューが最も重要です。TARは秘匿特権の可能性があるドキュメントにフラグを立てることができますが、秘匿特権のあるドキュメントを開示してしまった場合の結果が深刻になり得るため、最終的な秘匿特権の判断には慎重な人間の判断が必要です。ほとんどの事務所は、TARを使用して秘匿特権の可能性が高いドキュメントを特定し、そのサブセットにリニアレビューを適用しています。
重要ドキュメントの特定も人間によるレビューの恩恵を受けます。TARはドキュメントを関連性でランク付けできますが、応答性のあるドキュメントのうちどれがケース戦略にとって特に重要であるかを特定するには、アルゴリズムでは再現できない法的判断が必要です。多くの事務所はハイブリッドアプローチを使用しています：TARがすべての応答性のあるドキュメントを特定し、その後シニア弁護士が上位ランクのドキュメントをレビューして、証言録取、申立て、裁判戦略を推進するドキュメントを特定します。
小規模なドキュメントコレクション（10万件未満）では、TARのセットアップコストが正当化されない場合があります。テクノロジーライセンス、モデルトレーニング、バリデーションプロセスには最低コストの下限があり、小規模なセットに対する集中的なリニアレビューのコストを超える可能性があります。
レビューテクノロジーへの投資を評価している法律事務所にとって、これら12件の案件からのデータは明確な結論を示しています。TARは単なるコスト削減ツールではありません。コストも低くなるという利点を兼ね備えた品質向上ツールです。これを早期に認識した事務所は、TARを効果的に展開するための組織的知識をすでに構築しています。そうでない事務所は、価格と品質の両面で構造的な不利な立場で競争しています。
トレンドデータが示すもの
事務所のデータは、TARのパフォーマンスが連続する案件を通じて向上したことも示しました。TARで処理した最初の案件の再現率は76%でした。12番目の案件までに、再現率は94%に上昇しました。この改善曲線は、基盤となるテクノロジーの改善ではなく、モデルのトレーニング、シードセットの選択、バリデーションプロトコルの調整に関するチームの専門知識の向上を反映しています。
これが意味するのは、TAR導入には意味のある学習曲線があるということです。初めてTARプロジェクトを実施する事務所は、確立されたTARプラクティスを持つ事務所ほど強い結果を得られないかもしれません。しかし、改善は比較的迅速に起こり、通常3〜4件の案件以内にプロセスが定着し、メリットが安定して得られるようになります。そのコンピテンシーの構築への投資は、大規模なドキュメントレビューを定期的に行う事務所であれば、初年度内に元が取れます。