이디스커버리 비용 절감: 예측 코딩이 한 로펌에 230만 달러를 절약해 준 방법

다지역 소송(MDL)에 직면한 한 제약회사는 420만 건의 문서에 대한 디스커버리 의무를 지고 있었습니다. 계약 변호사들이 문서를 하나씩 처리하는 전통적인 선형 검토 방식의 초기 견적은 14개월에 걸쳐 340만 달러였습니다. 해당 로펌은 대안으로 예측 코딩을 제안했습니다. 기술 지원 검토의 총 비용은 5개월에 걸쳐 110만 달러였으며, 방어 가능성 지표는 선형 검토가 일반적으로 달성하는 수준을 초과했습니다.

230만 달러의 차이는 단순히 비용을 줄이는 것만의 문제가 아니었습니다. 소송 전략이 핵심 규제 기한 전에 디스커버리를 완료하는 것에 달려 있었기 때문에, 의뢰인에게는 일정 단축이 비용 절감보다 더 중요했습니다.

예측 코딩의 실제 작동 방식

예측 코딩은 기술 지원 검토(TAR) 또는 지속적 능동 학습(CAL)이라고도 불리며, 머신러닝을 사용하여 문서 검토의 우선순위를 정합니다. 이 과정은 시니어 변호사가 시드 세트 문서를 검토하는 것으로 시작되며, 일반적으로 사건의 쟁점 범위를 대표하도록 선택된 1,000~2,000건의 문서입니다. 변호사는 각 문서를 관련(responsive), 비관련(non-responsive), 또는 특권(privileged)으로 코딩합니다.

알고리즘은 이러한 코딩 결정으로부터 학습하고 나머지 문서를 예측된 관련성에 따라 순위를 매깁니다. 가장 높은 순위의 문서가 다음으로 검토되며, 그 코딩 결정이 모델을 추가로 훈련시킵니다. 각 반복마다 알고리즘은 어떤 문서가 관련 있는지 예측하는 능력이 향상됩니다.

효율성 향상은 대부분의 대규모 문서 컬렉션이 압도적으로 비관련 문서라는 사실에서 비롯됩니다. 일반적인 상사 소송에서 수집된 문서 중 실제로 사건과 관련 있는 문서는 3~8%에 불과합니다. 예측 코딩은 나머지 92~97%에 대한 사람의 검토 없이 이 관련 하위 집합을 식별합니다. 해당 제약 사건에서는 420만 건의 문서 중 4.1%만이 최종적으로 관련 문서로 코딩되었으며, 이는 선형 검토 방식이라면 변호사들이 중요한 172,000건을 찾기 위해 400만 건의 무관한 문서를 살펴봐야 했음을 의미합니다.

비용 내역

선형 검토 비용은 계산이 간단합니다. 계약 변호사는 일반적으로 문서 검토에 시간당 45~75달러를 청구합니다. 경험 있는 검토자는 시간당 50~70건의 문서를 처리합니다. 420만 건의 문서를 시간당 60건, 시간당 55달러로 계산하면 검토자 비용만 약 385만 달러가 되며, 여기에 프로젝트 관리, 품질 관리 및 호스팅 비용이 추가됩니다. 로펌의 340만 달러 견적은 이미 일괄 처리 및 키워드 필터링을 통한 일부 효율성 향상을 가정한 것이었습니다.

예측 코딩 비용은 다르게 구성되었습니다. 기술 라이선스 및 호스팅 비용은 약 18만 달러였습니다. 모델 훈련, 시드 세트 검토, 검증 라운드 수행을 위한 시니어 변호사 시간은 약 32만 달러였습니다. AI가 우선순위를 매긴 문서를 소규모 경험 있는 변호사 팀이 검토하는 비용은 48만 달러였습니다. 품질 관리 및 방어 가능성 테스트에 추가로 12만 달러가 소요되었습니다.

문서당 비용은 선형 검토의 약 0.81달러에서 예측 코딩의 0.26달러로 감소했습니다. 420만 건의 문서에 걸쳐 확대하면, 이러한 단위당 절감액은 극적으로 복리 효과를 냅니다.

방어 가능성 우려와 해결 방법

예측 코딩에 대한 가장 흔한 반대 의견은 방어 가능성입니다. 상대측 변호사는 알고리즘이 관련 문서를 놓쳤다고 주장할 수 있습니다. 법원은 2012년 Andrew Peck 판사의 Da Silva Moore 사건에서의 획기적인 의견 이후 이 문제를 반복적으로 다루어 왔으며, 합의된 견해는 기술 지원 검토를 합리적인 것으로 수용하는 방향으로 확고히 전환되었고, 경우에 따라서는 선형 검토보다 더 방어 가능한 것으로 인정되고 있습니다.

방어 가능성 논거는 실제로 여러 면에서 예측 코딩에 유리합니다. 첫째, 이 과정은 정밀도(precision), 재현율(recall), F1 점수, 풍부도(richness) 계산 등 검토가 얼마나 철저했는지를 정량화하는 상세한 지표를 생성합니다. 선형 검토는 이에 비견할 만한 품질 지표를 생성하지 못합니다. 선형 검토를 수행하는 로펌은 변호사들이 모든 문서를 살펴보았다고 보고할 수 있지만, 그 변호사들이 얼마나 정확했는지는 정량화할 수 없습니다.

둘째, 예측 코딩은 통계적 검증을 가능하게 합니다. 해당 제약 사건에서 로펌은 알고리즘이 비관련으로 분류한 문서 중 2,500건을 무작위로 추출하여 시니어 변호사들이 수동으로 검토하게 했습니다. 누락률(비관련 세트에서 관련 문서의 비율)은 1.2%였으며, 이는 96% 이상의 재현율로 환산됩니다. 대부분의 선형 검토는 유사한 품질 테스트를 받으면 60%에서 80% 사이의 재현율을 보입니다.

셋째, 전체 과정이 문서화되고 재현 가능합니다. 시드 세트 결정, 알고리즘의 훈련 반복, 검증 방법론 및 결과가 모두 기록됩니다. 상대측 변호사가 검토에 이의를 제기하면, 로펌은 모든 코딩 결정이 어떻게 이루어졌는지에 대한 완전한 기록을 제출할 수 있습니다.

예측 코딩이 적합한 경우

예측 코딩은 일반적으로 50만 건 이상의 대규모 문서 컬렉션에서 가장 큰 비용 절감 효과를 냅니다. 그 이하의 규모에서는 모델 훈련을 위한 설정 비용과 변호사 시간이 키워드 필터링을 갖춘 잘 관리된 선형 검토에 비해 투자를 정당화하지 못할 수 있습니다.

이 기술은 관련 문서가 언어, 참여자, 날짜 범위 또는 주제 등에서 식별 가능한 패턴을 공유할 때 가장 잘 작동합니다. 개별적인 사건(특정 제품 결함, 특정 거래, 위법 행위가 주장된 특정 기간)과 관련된 사건은 관련성을 정의하기 어려운 광범위하고 지속적인 행위와 관련된 사건보다 더 나은 예측 코딩 결과를 산출하는 경향이 있습니다.

다중 쟁점 사건은 기회이자 도전을 동시에 제시합니다. 알고리즘은 서로 다른 쟁점과 관련된 문서를 동시에 식별하도록 훈련될 수 있으며, 이는 각 쟁점에 대해 별도의 검토를 수행하는 것보다 효율적입니다. 그러나 훈련 세트에 각 쟁점의 예시가 포함되어야 하므로, 초기 코딩 라운드에 필요한 시니어 변호사 시간이 증가합니다.

복잡한 소송을 관리하는 로펌에게 예측 코딩을 표준 도구로 제공할 수 있는 능력은 경쟁 차별화 요소가 되었습니다. 의뢰인들은 점점 더 대규모 사건에서 기술 지원 검토를 사용할 것을 기대하며, 더 효율적인 대안이 존재할 때 선형 검토 비용을 지불하는 것을 꺼립니다.

다양한 사건 규모별 수치 현황

제약 사건에서의 230만 달러 절감은 대규모 사례를 나타내지만, 비례적 절감 효과는 다양한 사건 규모에 걸쳐 적용됩니다. 100만 건의 문서 컬렉션에서 로펌들은 일반적으로 선형 검토 대비 55~65%의 비용 절감을 보고합니다. 500만 건 이상의 컬렉션에서는 예측 코딩 워크플로우 설정의 고정 비용이 더 많은 문서에 분산되기 때문에 절감 효과가 75%를 초과하는 경우가 많습니다.

시간 절감도 유사한 패턴을 따릅니다. 14개월이 소요될 420만 건의 문서 선형 검토는 쟁점의 복잡성과 검증 요구 사항에 따라 예측 코딩으로 4~6개월 내에 완료할 수 있습니다. 촉박한 소송 일정의 사건에서 이러한 시간 단축은 비용 절감보다 더 가치 있을 수 있습니다.

정확도를 고려하면 계산이 더 흥미로워집니다. 예측 코딩이 선형 검토의 75%에 비해 96%의 재현율을 달성한다면, 기술 지원 방식은 단순히 더 저렴하고 빠른 것만이 아닙니다. 더 많은 관련 문서를 찾아내는 것이기도 합니다. 선형 검토가 놓치는 문서는 비정상적인 언어나 예상치 못한 관련성을 가진 문서, 즉 사건의 궤적을 바꿀 수 있는 바로 그 문서인 경향이 있습니다. 더 적은 비용으로 더 나은 결과를 얻는 것은 초기 학습 곡선에 투자할 의향이 있는 로펌에게 도입 결정을 명확하게 만드는 조합입니다.