Teknoloji Destekli İnceleme ve Doğrusal İnceleme: Gerçek Maliyet ve Doğruluk Karşılaştırması

Büyük bir dava firması, hem teknoloji destekli inceleme (TAR) hem de geleneksel doğrusal incelemeyi karşılaştırılabilir belge setlerinde kullandığı 12 davada ayrıntılı metrikleri takip etti. Veriler, iki yaklaşımın karşılaştırılmasındaki olağan elma-armut karşılaştırması sorununu ortadan kaldırıyor çünkü her dava aynı konuyu, aynı belgeleri ve aynı ilgililik standartlarını içeriyordu. Sonuçlar birbirine yakın bile değildi.

TAR, doğrusal incelemenin %67,2'sine kıyasla ortalama %89,4 geri çağırma oranı üretti. TAR, doğrusal incelemenin belge başına 0,78 $'ına kıyasla ortalama 0,31 $'a mal oldu. TAR, doğrusal incelemenin 11,7 haftasına kıyasla ortalama 4,3 haftada incelemeyi tamamladı. Firmanın takip ettiği her metrikte teknoloji destekli inceleme, manuel incelemeyi geride bıraktı.

Karşılaştırmanın Arkasındaki Metodoloji

Firmanın karşılaştırması akademik bir çalışma değildi. Daha büyük davalarının birçoğunda, kalite kıyaslaması için bir alt kümeyi doğrusal inceleme ekiplerine atarken aynı anda tam belge koleksiyonu üzerinde TAR çalıştırdılar. Diğer davalarda, ilk inceleme için TAR'ı ve kalite kontrol örneklemesi için doğrusal incelemeyi kullanarak yan yana doğruluk verileri oluşturdular.

Belge koleksiyonları 200.000 ile 6,8 milyon belge arasında değişiyordu. Zenginlik oranları (gerçekten ilgili olan belgelerin yüzdesi) %2,1 ile %11,4 arasında değişiyordu. Dava türleri arasında antitröst davaları, menkul kıymet dolandırıcılığı, patent ihlali ve toplu iş davaları yer alıyordu.

Firma her davada beş temel metriği ölçtü: geri çağırma (bulunan ilgili belgelerin yüzdesi), hassasiyet (ilgili olarak kodlanan belgelerin gerçekten ilgili olanların yüzdesi), incelenen belge başına maliyet, tamamlanma takvim süresi ve kalite kontrol örneklerindeki hata oranı.

Doğrusal İnceleme Neden Doğrulukta Geride Kalıyor

Çoğu insanı şaşırtan bulgu, TAR'ın daha ucuz veya daha hızlı olması değil. TAR'ın daha doğru olmasıdır. Varsayım her zaman insan incelemesinin pahalı olsa da en azından her şeyi yakaladığı yönünde olmuştur. Veriler bu varsayımı desteklemiyor.

Doğrusal inceleme doğruluğu birkaç yapısal sorundan muzdariptir. İncelemeci yorgunluğu en önemlisidir. Günün 300. belgesini inceleyen bir sözleşmeli avukat, 30. belgeye gösterdiği dikkatin aynısını göstermez. İncelemeci tutarlılığı üzerine yapılan çalışmalar, aynı incelemecinin daha önce incelediği belgeler yeniden sunulduğunda aynı belgeyi %20-30 oranında farklı kodladığını göstermektedir.

Ekip genelindeki incelemeci tutarsızlığı sorunu daha da büyütür. 20 sözleşmeli avukatın yer aldığı tipik bir doğrusal incelemede, inceleme protokolü ne kadar ayrıntılı olursa olsun her incelemeci ilgililik standardına kendi yorumunu geliştirir. Makul bir şekilde her iki şekilde de kodlanabilecek sınırdaki belgeler tutarsız muamele görür. Bazı incelemeciler belgeleri yanıt verir olarak kodlama konusunda agresiftir; diğerleri muhafazakârdır. Bu tutarsızlık, incelemeye sistematik gürültü ekler.

Dikkat dağınıklığı ve bağlam değiştirme de rol oynar. Doğrusal incelemeciler belgeleri esasen rastgele sırayla görür. Bir sözleşmeli incelemeci bir ürün lansmanı hakkında bir e-postaya, ardından bir finansal tabloya, ardından kişisel bir e-postaya, ardından bir düzenleyici dosyaya bakabilir. Sürekli bağlam değiştirme, bireysel belgelerin dava anlatısıyla nasıl ilişkili olduğuna dair tutarlı bir anlayış sürdürmeyi zorlaştırır.

TAR bu sorunlardan kaçınır çünkü algoritma her belgeye mükemmel tutarlılıkla aynı kriterleri uygular. Yorulmaz, öğle yemeğinden sonra odağını kaybetmez ve kodlama protokolünün kendine özgü yorumlarını geliştirmez.

Maliyet Karşılaştırmasının Detayları

Belge başına maliyet farkı (0,31 $ vs 0,78 $) birkaç faktörü yansıtır. TAR daha az toplam avukat zamanı gerektirir çünkü belgelerin çoğu insanlar tarafından incelenmek yerine algoritma tarafından puanlanır. TAR'ın gerektirdiği insan incelemesi en yüksek değerli belgelere odaklanır, yani kıdemli avukatlar açıkça ilgisiz e-postaları taramak yerine zamanlarını özsel olarak önemli materyallere harcar.

Dolaylı maliyetleri dahil ettiğinizde maliyet karşılaştırması TAR lehine daha da olumlu görünür. Doğrusal inceleme daha kapsamlı proje yönetimi gerektirir çünkü daha büyük inceleme ekipleri daha fazla koordinasyon yükü oluşturur. Doğrusal inceleme için kalite kontrol, temel hata oranı daha yüksek olduğundan daha büyük örnekleme boyutları gerektirir. Barındırma maliyetleri her iki yaklaşım için benzerdir, ancak TAR'ın daha kısa zaman çizelgesi daha az toplam barındırma gideri anlamına gelir.

2 milyonun üzerinde belge koleksiyonuna sahip davalarda maliyet farkı daha da açılır çünkü TAR'ın sabit maliyetleri (teknoloji lisanslama, model eğitimi, doğrulama) daha fazla belgeye yayılırken doğrusal inceleme maliyetleri hacimle doğrusal olarak ölçeklenir.

Doğrusal İncelemenin Hâlâ Rolü Olan Yerler

TAR, insan incelemesi ihtiyacını tamamen ortadan kaldırmaz. Birkaç senaryo hâlâ bir dereceye kadar doğrusal incelemeyi tercih eder.

Ayrıcalık incelemesi en önemlisidir. TAR potansiyel olarak ayrıcalıklı belgeleri işaretleyebilirken, nihai ayrıcalık belirleme dikkatli insan muhakemesi gerektirir çünkü ayrıcalıklı bir belgenin ifşa edilmesinin sonuçları ağır olabilir. Çoğu firma, muhtemelen ayrıcalıklı belgeleri belirlemek için TAR kullanır ve ardından bu alt kümeye doğrusal inceleme uygular.

Kritik belge tespiti de insan incelemesinden fayda görür. TAR belgeleri ilgililiğe göre sıralayabilir, ancak hangi yanıt verir belgelerin dava stratejisi için özellikle önemli olduğunu belirlemek, algoritmaların kopyalayamayacağı hukuki muhakeme gerektirir. Birçok firma hibrit bir yaklaşım kullanır: TAR tüm yanıt verir belgeleri belirler ve ardından kıdemli avukatlar ifadeleri, dilekçeleri ve duruşma stratejisini yönlendirecek olanları tespit etmek için en üst sıradaki belgeleri inceler.

Küçük belge koleksiyonları (100.000 belgenin altında) TAR için kurulum maliyetlerini haklı kılmayabilir. Teknoloji lisanslama, model eğitimi ve doğrulama sürecinin, daha küçük setlerde odaklanmış bir doğrusal incelemenin maliyetini aşabilen minimum bir maliyet tabanı vardır.

İnceleme teknolojisi yatırımlarını değerlendiren hukuk firmaları için bu 12 davadan elde edilen veriler durumu açıkça ortaya koymaktadır. TAR sadece bir maliyet düşürme aracı değildir. Aynı zamanda daha az maliyetli olan bir kalite iyileştirme aracıdır. Bunu erken fark eden firmalar, TAR'ı etkili bir şekilde dağıtmak için kurumsal bilgiyi çoktan oluşturmuştur; bunu yapmamış firmalar ise hem fiyat hem de kalite açısından yapısal bir dezavantajla rekabet etmektedir.

Trend Verileri Ne Gösteriyor

Firmanın verileri ayrıca TAR performansının ardışık davalarda iyileştiğini gösterdi. TAR ile ele aldıkları ilk dava %76 geri çağırma oranı gösterdi. On ikinci davaya gelindiğinde geri çağırma %94'e yükselmişti. Bu iyileşme eğrisi, altta yatan teknolojideki gelişmelerden ziyade ekibin model eğitimi, tohum set seçimi ve doğrulama protokollerini kalibre etme konusundaki artan uzmanlığını yansıtmaktadır.

Bunun anlamı, TAR benimsenmesi için anlamlı bir öğrenme eğrisinin olduğudur. İlk TAR projelerini yürüten firmalar, yerleşik TAR uygulamalarına sahip firmalar kadar güçlü sonuçlar göremeyebilir. Ancak iyileşme nispeten hızlı gerçekleşir, genellikle 3-4 dava içinde, ardından süreç rutin hale gelir ve faydalar tutarlı olmaya başlar. Bu yetkinliği oluşturma yatırımı, düzenli olarak büyük ölçekli belge incelemeleri yapan herhangi bir firma için ilk yıl içinde kendini amorti eder.