기술 지원 검토(TAR) 대 선형 검토: 실제 비용과 정확도 비교

한 대형 소송 로펌이 기술 지원 검토(TAR)와 전통적인 선형 검토를 비교 가능한 문서 세트에 모두 사용한 12건의 사안에서 상세한 지표를 추적했습니다. 이 데이터는 각 사안이 동일한 사건, 동일한 문서, 동일한 관련성 기준을 포함했기 때문에 두 접근 방식을 비교할 때 흔히 발생하는 비교 불가능성 문제를 제거합니다. 결과는 근접하지 않았습니다.

TAR는 평균 재현율 89.4%를 달성한 반면, 선형 검토는 67.2%에 그쳤습니다. TAR의 문서당 평균 비용은 $0.31인 반면, 선형 검토는 $0.78이었습니다. TAR는 평균 4.3주 만에 검토를 완료한 반면, 선형 검토는 11.7주가 걸렸습니다. 로펌이 추적한 모든 지표에서 기술 지원 검토가 수동 검토를 능가했습니다.

비교의 방법론

이 로펌의 비교는 학술적 연습이 아니었습니다. 여러 대규모 사안에서 전체 문서 컬렉션에 TAR를 실행하면서 동시에 일부를 선형 검토 팀에 배정하여 품질 벤치마킹을 수행했습니다. 다른 사안에서는 초기 검토에 TAR를 사용하고 품질 관리 샘플링에 선형 검토를 사용하여 나란히 비교할 수 있는 정확도 데이터를 생성했습니다.

문서 컬렉션의 규모는 200,000건에서 680만 건까지 다양했습니다. 풍부도(실제로 관련성이 있는 문서의 비율)는 2.1%에서 11.4%까지 분포했습니다. 사건 유형에는 독점금지 소송, 증권 사기, 특허 침해, 고용 집단 소송이 포함되었습니다.

로펌은 모든 사안에서 다섯 가지 핵심 지표를 측정했습니다: 재현율(발견된 관련 문서의 비율), 정밀도(관련으로 코딩된 문서 중 실제로 관련된 비율), 검토된 문서당 비용, 완료까지의 일정 기간, 그리고 품질 관리 샘플의 결함률입니다.

선형 검토가 정확도에서 뒤처지는 이유

대부분의 사람들을 놀라게 하는 발견은 TAR가 더 저렴하거나 빠르다는 것이 아닙니다. TAR가 더 정확하다는 것입니다. 인간 검토가 비용은 많이 들지만 최소한 모든 것을 잡아낸다는 것이 항상 전제였습니다. 데이터는 이 전제를 뒷받침하지 않습니다.

선형 검토의 정확도는 여러 구조적 문제로 인해 저하됩니다. 검토자 피로가 가장 중요한 요인입니다. 하루에 300번째 문서를 검토하는 계약 변호사는 30번째 문서에 기울였던 것과 같은 주의력을 적용하지 못합니다. 검토자 일관성에 대한 연구에 따르면, 동일한 검토자가 이미 검토한 문서를 다시 제시받았을 때 20-30%의 확률로 동일한 문서를 다르게 코딩합니다.

팀 내 검토자 간 불일치는 문제를 더욱 악화시킵니다. 20명의 계약 변호사가 참여하는 일반적인 선형 검토에서, 검토 프로토콜이 아무리 상세하더라도 각 검토자는 관련성 기준에 대한 자신만의 해석을 발전시킵니다. 어느 쪽으로든 합리적으로 코딩될 수 있는 경계선상의 문서들은 일관되지 않은 처리를 받습니다. 일부 검토자는 문서를 응답 대상으로 코딩하는 데 적극적이고, 다른 검토자는 보수적입니다. 이러한 불일치는 검토에 체계적인 노이즈를 도입합니다.

주의 분산과 맥락 전환도 역할을 합니다. 선형 검토자는 본질적으로 무작위 순서로 문서를 봅니다. 계약 검토자는 제품 출시에 관한 이메일을 본 다음, 재무 스프레드시트, 그다음 개인 이메일, 그다음 규제 서류를 볼 수 있습니다. 끊임없는 맥락 전환은 개별 문서가 사건 서사와 어떻게 관련되는지에 대한 일관된 이해를 유지하기 어렵게 만듭니다.

TAR는 알고리즘이 모든 문서에 완벽한 일관성으로 동일한 기준을 적용하기 때문에 이러한 문제를 피합니다. 피로해지지 않고, 점심 후 집중력을 잃지 않으며, 코딩 프로토콜에 대한 특이한 해석을 발전시키지 않습니다.

상세 비용 비교

문서당 비용 차이($0.31 vs $0.78)는 여러 요인을 반영합니다. TAR는 대부분의 문서가 인간이 아닌 알고리즘에 의해 점수가 매겨지기 때문에 총 변호사 시간이 적게 필요합니다. TAR에 필요한 인간 검토는 가장 가치가 높은 문서에 집중되므로, 시니어 변호사들은 명백히 무관한 이메일을 훑어보는 대신 실질적으로 중요한 자료에 시간을 투자합니다.

간접 비용을 포함하면 TAR에 대한 비용 비교는 더욱 유리해집니다. 선형 검토는 더 큰 검토 팀이 더 많은 조정 오버헤드를 발생시키기 때문에 더 광범위한 프로젝트 관리가 필요합니다. 선형 검토의 품질 관리는 기본 오류율이 더 높기 때문에 더 큰 샘플링 규모가 필요합니다. 호스팅 비용은 두 접근 방식 모두 유사하지만, TAR의 더 짧은 일정은 총 호스팅 비용이 적다는 것을 의미합니다.

200만 건 이상의 문서 컬렉션이 있는 사안에서는 TAR의 고정 비용(기술 라이선스, 모델 훈련, 검증)이 더 많은 문서에 분산되는 반면 선형 검토 비용은 볼륨에 비례하여 선형적으로 증가하기 때문에 비용 격차가 더 벌어집니다.

선형 검토가 여전히 역할을 하는 경우

TAR가 인간 검토의 필요성을 완전히 제거하지는 않습니다. 여전히 어느 정도의 선형 검토가 유리한 몇 가지 시나리오가 있습니다.

비밀유지특권 검토가 가장 중요합니다. TAR가 잠재적으로 특권이 있는 문서를 표시할 수 있지만, 특권 문서를 제출하는 결과가 심각할 수 있기 때문에 최종 특권 판단에는 신중한 인간의 판단이 필요합니다. 대부분의 로펌은 TAR를 사용하여 특권 가능성이 높은 문서를 식별한 다음 해당 하위 집합에 선형 검토를 적용합니다.

핵심 문서 식별도 인간 검토의 혜택을 받습니다. TAR는 관련성에 따라 문서의 순위를 매길 수 있지만, 어떤 응답 문서가 사건 전략에 특히 중요한지 식별하려면 알고리즘이 복제할 수 없는 법적 판단이 필요합니다. 많은 로펌이 하이브리드 접근 방식을 사용합니다: TAR가 모든 응답 문서를 식별하고, 시니어 변호사가 상위 순위 문서를 검토하여 증언록취, 신청, 재판 전략을 이끌 문서를 식별합니다.

소규모 문서 컬렉션(100,000건 미만)은 TAR의 설정 비용을 정당화하지 못할 수 있습니다. 기술 라이선스, 모델 훈련 및 검증 프로세스에는 소규모 세트에 대한 집중적인 선형 검토 비용을 초과할 수 있는 최소 비용 기준이 있습니다.

검토 기술 투자를 평가하는 로펌에게 이 12건의 사안 데이터는 명확한 근거를 제시합니다. TAR는 단순한 비용 절감 도구가 아닙니다. 비용도 적게 드는 품질 개선 도구입니다. 이를 일찍 인식한 로펌은 이미 TAR를 효과적으로 배포할 수 있는 조직적 지식을 구축했으며, 그렇지 않은 로펌은 가격과 품질 모두에서 구조적 불리함 속에서 경쟁하고 있습니다.

추세 데이터가 보여주는 것

로펌의 데이터는 또한 TAR 성능이 연속적인 사안에 걸쳐 향상되었음을 보여주었습니다. TAR로 처리한 첫 번째 사안은 76%의 재현율을 보였습니다. 열두 번째 사안에 이르러 재현율은 94%로 상승했습니다. 이 개선 곡선은 기반 기술의 개선이 아니라 모델 훈련, 시드 세트 선택, 검증 프로토콜 보정에 대한 팀의 전문성 성장을 반영합니다.

이것이 시사하는 바는 TAR 도입에 의미 있는 학습 곡선이 있다는 것입니다. 첫 번째 TAR 프로젝트를 수행하는 로펌은 확립된 TAR 관행을 가진 로펌만큼 강력한 결과를 보지 못할 수 있습니다. 그러나 개선은 비교적 빠르게 이루어지며, 일반적으로 3-4건의 사안 내에 프로세스가 일상화되고 혜택이 일관되게 나타납니다. 이러한 역량 구축에 대한 투자는 대규모 문서 검토를 정기적으로 수행하는 모든 로펌에서 첫 해 안에 투자 비용을 회수합니다.