多地区訴訟に直面していた製薬会社は、420万件の文書を対象とするディスカバリー義務を負っていました。契約弁護士が文書を一つずつ処理する従来のリニアレビューの初期見積もりは、14か月で340万ドルでした。事務所は代わりに予測コーディングを提案しました。テクノロジー支援レビューの総コストは5か月で110万ドルであり、リニアレビューが通常達成する水準を上回る防御可能性の指標を示しました。
230万ドルの差額は、単に費用を抑えるということだけではありませんでした。訴訟戦略が重要な規制上の期限前にディスカバリーを完了することに依存していたため、クライアントにとってはコスト削減よりもタイムラインの短縮の方が重要でした。
予測コーディングの実際の仕組み
予測コーディングは、テクノロジー支援レビュー（TAR）または継続的能動学習（CAL）とも呼ばれ、機械学習を使用して文書レビューの優先順位を決定します。プロセスは、シニア弁護士がシードセットの文書をレビューすることから始まります。通常、ケースの争点の範囲を代表するように選ばれた1,000〜2,000件の文書です。弁護士は各文書を応答的、非応答的、または秘匿特権ありとしてコーディングします。
アルゴリズムはこれらのコーディング決定から学習し、残りの文書を予測される関連性によってランク付けします。最も高くランク付けされた文書が次にレビューされ、それらのコーディング決定がさらにモデルを訓練します。各反復ごとに、アルゴリズムはどの文書が関連性があるかをより正確に予測できるようになります。
効率性の向上は、大規模な文書コレクションの大部分が圧倒的に非応答的であるという事実から生まれます。典型的な商事訴訟では、収集された文書のうち実際にケースに関連するのはわずか3〜8%です。予測コーディングは、残りの92〜97%の人的レビューを必要とせずに、この関連するサブセットを特定します。製薬会社のケースでは、420万件の文書のうち最終的に応答的とコーディングされたのはわずか4.1%であり、リニアレビューのアプローチでは、重要な172,000件を見つけるために弁護士が400万件の無関係な文書を確認する必要があったことを意味します。
コストの内訳
リニアレビューのコストは計算が簡単です。契約弁護士は通常、文書レビューに対して時給45〜75ドルで請求します。経験豊富なレビュアーは1時間あたり50〜70件の文書を処理します。420万件の文書を1時間あたり60件、時給55ドルで計算すると、レビュアーコストだけで約385万ドルとなり、さらにプロジェクト管理、品質管理、ホスティング費用が加わります。事務所の340万ドルの見積もりは、バッチ処理とキーワードカリングによる効率化をすでに見込んでいました。
予測コーディングのコストは異なる内訳でした。テクノロジーのライセンスとホスティングは約18万ドルでした。モデルの訓練、シードセットのレビュー、バリデーションラウンドの実施にかかるシニア弁護士の時間は合計約32万ドルでした。少人数の経験豊富な弁護士チームによるAI優先順位付け文書のレビューは48万ドルでした。品質管理と防御可能性テストにさらに12万ドルが加わりました。
文書あたりのコストは、リニアレビューの約0.81ドルから予測コーディングの0.26ドルに低下しました。420万件の文書に適用すると、この単位あたりの節約は劇的に積み上がります。
防御可能性の懸念とその対処方法
予測コーディングに対する最も一般的な反論は防御可能性です。相手方弁護士は、アルゴリズムが応答的な文書を見落としたと主張する可能性があります。裁判所は、2012年のDa Silva Moore事件におけるAndrew Peck判事の画期的な意見以来、この問題に繰り返し対処しており、コンセンサスはテクノロジー支援レビューを合理的なものとして受け入れる方向に確実にシフトしており、場合によってはリニアレビューよりも防御可能性が高いとされています。
防御可能性の議論は、実際にはいくつかの点で予測コーディングに有利に働きます。第一に、このプロセスは詳細な指標を生成します：精度、再現率、F1スコア、およびリッチネス計算により、レビューがどれほど徹底的であったかを正確に定量化します。リニアレビューは同等の品質指標を生成しません。リニアレビューを実施する事務所は、弁護士がすべての文書を確認したと報告できますが、それらの弁護士がどれほど正確であったかを定量化することはできません。
第二に、予測コーディングは統計的検証を可能にします。製薬会社のケースでは、事務所はアルゴリズムが非応答的と分類した文書から2,500件のランダムサンプルを抽出し、シニア弁護士に手動でレビューさせました。エリュージョン率（非応答的セットにおける応答的文書の割合）は1.2%であり、これは96%を超える再現率に相当します。ほとんどのリニアレビューは、同様の品質テストを受けると、60%から80%の再現率を示します。
第三に、プロセス全体が文書化され、再現可能です。シードセットの決定、アルゴリズムの訓練反復、バリデーション方法論、および結果はすべて記録されます。相手方弁護士がレビューに異議を唱えた場合、事務所はすべてのコーディング決定がどのように行われたかの完全な記録を提出できます。
予測コーディングが有効な場合
予測コーディングは、一般的に50万件以上の大規模な文書コレクションで最大のコスト削減を実現します。その閾値を下回る場合、セットアップコストとモデル訓練のための弁護士の時間は、キーワードフィルタリングを伴う適切に管理されたリニアレビューと比較して投資を正当化できない可能性があります。
このテクノロジーは、応答的な文書が言語、参加者、日付範囲、または主題において識別可能なパターンを共有している場合に最も効果を発揮します。個別の事象（特定の製品欠陥、特定の取引、不正行為が疑われる定義された期間）を含むケースは、関連性の定義が難しい拡散的で継続的な行為を含むケースよりも、予測コーディングの結果が良好になる傾向があります。
複数争点のケースは、機会と課題の両方を提示します。アルゴリズムは、異なる争点に関連する文書を同時に識別するように訓練でき、各争点ごとに別々のレビューを実行するよりも効率的です。ただし、訓練セットには各争点の例を含める必要があり、初期コーディングラウンドに必要なシニア弁護士の時間が増加します。
複雑な訴訟を管理する法律事務所にとって、予測コーディングを標準ツールとして提供できることは競争上の差別化要因となっています。クライアントは大規模なケースで事務所がテクノロジー支援レビューを使用することをますます期待しており、より効率的な代替手段が存在する場合にリニアレビューの費用を支払うことに消極的です。
異なるケース規模における数値の実態
製薬会社のケースでの230万ドルの節約は大規模な例ですが、比例的な節約は異なるケース規模にも適用されます。100万件の文書コレクションでは、事務所は通常、リニアレビューと比較して55〜65%のコスト削減を報告しています。500万件を超えるコレクションでは、予測コーディングワークフローのセットアップにかかる固定費がより多くの文書に分散されるため、節約は75%を超えることが多くなります。
時間の節約も同様のパターンに従います。14か月かかる420万件の文書のリニアレビューは、争点の複雑さとバリデーション要件に応じて、予測コーディングにより4〜6か月で完了できます。積極的な訴訟スケジュールのケースでは、この時間短縮はコスト削減よりも価値がある場合があります。
正確性を考慮すると、計算はさらに興味深くなります。予測コーディングがリニアレビューの75%に対して96%の再現率を達成する場合、テクノロジー支援アプローチは単に安くて速いだけではありません。より多くの応答的文書を発見しているのです。リニアレビューが見落とす文書は、通常の言語とは異なる表現や予想外の関連性を持つものであり、まさにケースの方向性を変える可能性のある文書です。より少ない費用でより良い結果を得られるという組み合わせは、初期の学習曲線に投資する意思のある事務所にとって、採用の決定を明快なものにします。