Semakan Berbantukan Teknologi vs Semakan Linear: Perbandingan Sebenar Kos dan Ketepatan

Sebuah firma litigasi besar menjejaki metrik terperinci merentasi 12 kes di mana mereka menggunakan kedua-dua semakan berbantukan teknologi (TAR) dan semakan linear tradisional pada set dokumen yang setanding. Data ini menghapuskan masalah perbandingan yang tidak setara yang biasa berlaku kerana setiap kes melibatkan kes yang sama, dokumen yang sama, dan standard relevansi yang sama. Hasilnya tidak rapat langsung.

TAR menghasilkan kadar penarikan semula purata 89.4% berbanding 67.2% untuk semakan linear. TAR menelan kos purata $0.31 setiap dokumen berbanding $0.78 untuk semakan linear. TAR menyiapkan semakan dalam purata 4.3 minggu berbanding 11.7 minggu untuk semakan linear. Merentasi setiap metrik yang dijejaki oleh firma tersebut, semakan berbantukan teknologi mengatasi semakan manual.

Metodologi Di Sebalik Perbandingan

Perbandingan firma ini bukanlah satu latihan akademik. Dalam beberapa kes besar mereka, mereka menjalankan TAR pada keseluruhan koleksi dokumen sambil pada masa yang sama menugaskan subset kepada pasukan semakan linear untuk penanda aras kualiti. Dalam kes lain, mereka menggunakan TAR untuk semakan awal dan semakan linear untuk persampelan kawalan kualiti, menghasilkan data ketepatan secara bersebelahan.

Koleksi dokumen berjulat dari 200,000 hingga 6.8 juta dokumen. Kadar kekayaan (peratusan dokumen yang benar-benar relevan) berjulat dari 2.1% hingga 11.4%. Kepelbagaian jenis kes termasuk litigasi antitrust, penipuan sekuriti, pelanggaran paten, dan tindakan kelas pekerjaan.

Firma tersebut mengukur lima metrik utama merentasi setiap kes: penarikan semula (peratusan dokumen relevan yang ditemui), ketepatan (peratusan dokumen yang dikodkan relevan yang benar-benar relevan), kos setiap dokumen yang disemak, masa kalendar untuk penyiapan, dan kadar kecacatan pada sampel kawalan kualiti.

Mengapa Semakan Linear Kurang Tepat

Penemuan yang mengejutkan kebanyakan orang bukanlah TAR lebih murah atau lebih pantas. Ia adalah TAR lebih tepat. Andaian selama ini ialah semakan manusia, walaupun mahal, sekurang-kurangnya menangkap segala-galanya. Data tidak menyokong andaian ini.

Ketepatan semakan linear terjejas oleh beberapa masalah struktur. Keletihan penyemak adalah yang paling ketara. Seorang peguam kontrak yang menyemak dokumen ke-300 mereka pada hari itu tidak menerapkan perhatian yang sama seperti yang mereka lakukan pada dokumen nombor 30. Kajian mengenai konsistensi penyemak menunjukkan bahawa penyemak yang sama akan mengkodkan dokumen yang sama secara berbeza 20-30% daripada masa apabila dibentangkan semula dengan dokumen yang telah mereka semak.

Ketidakkonsistenan penyemak merentasi pasukan memburukkan lagi masalah ini. Dalam semakan linear biasa dengan 20 peguam kontrak, setiap penyemak membentuk tafsiran mereka sendiri terhadap standard relevansi, tidak kira betapa terperinci protokol semakan tersebut. Dokumen sempadan, yang boleh dikodkan sama ada cara secara munasabah, mendapat layanan yang tidak konsisten. Sesetengah penyemak agresif dalam mengkodkan dokumen sebagai responsif; yang lain bersikap konservatif. Ketidakkonsistenan ini memperkenalkan gangguan sistematik ke dalam semakan.

Gangguan dan pertukaran konteks juga memainkan peranan. Penyemak linear melihat dokumen dalam susunan yang pada dasarnya rawak. Penyemak kontrak mungkin melihat e-mel tentang pelancaran produk, kemudian hamparan kewangan, kemudian e-mel peribadi, kemudian pemfailan kawal selia. Pertukaran konteks yang berterusan menyukarkan untuk mengekalkan pemahaman yang koheren tentang bagaimana dokumen individu berkaitan dengan naratif kes.

TAR mengelakkan masalah ini kerana algoritma menerapkan kriteria yang sama pada setiap dokumen dengan konsistensi sempurna. Ia tidak menjadi penat, ia tidak hilang fokus selepas makan tengah hari, dan ia tidak membentuk tafsiran idiosinkratik terhadap protokol pengkodan.

Perbandingan Kos Secara Terperinci

Perbezaan kos setiap dokumen ($0.31 vs $0.78) mencerminkan beberapa faktor. TAR memerlukan kurang jumlah masa peguam kerana kebanyakan dokumen dinilai oleh algoritma dan bukannya disemak oleh manusia. Semakan manusia yang diperlukan oleh TAR tertumpu pada dokumen bernilai tertinggi, bermakna peguam kanan menghabiskan masa mereka pada bahan yang penting secara substantif dan bukannya menyelak e-mel yang jelas tidak relevan.

Perbandingan kos kelihatan lebih memihak kepada TAR apabila anda memasukkan kos tidak langsung. Semakan linear memerlukan pengurusan projek yang lebih meluas kerana pasukan semakan yang lebih besar mewujudkan lebih banyak beban penyelarasan. Kawalan kualiti untuk semakan linear memerlukan saiz persampelan yang lebih besar kerana kadar ralat asas lebih tinggi. Kos pengehosan adalah serupa untuk kedua-dua pendekatan, tetapi jangka masa yang lebih pendek untuk TAR bermakna kurang jumlah perbelanjaan pengehosan.

Pada kes dengan koleksi dokumen melebihi 2 juta, jurang kos semakin melebar kerana kos tetap TAR (pelesenan teknologi, latihan model, pengesahan) diagihkan merentasi lebih banyak dokumen manakala kos semakan linear meningkat secara linear dengan volum.

Di Mana Semakan Linear Masih Berperanan

TAR tidak menghapuskan keperluan untuk semakan manusia sepenuhnya. Beberapa senario masih memihak kepada tahap tertentu semakan linear.

Semakan keistimewaan adalah yang paling penting. Walaupun TAR boleh menandakan dokumen yang berpotensi istimewa, penentuan keistimewaan akhir memerlukan pertimbangan manusia yang teliti kerana akibat menghasilkan dokumen istimewa boleh menjadi teruk. Kebanyakan firma menggunakan TAR untuk mengenal pasti dokumen yang berkemungkinan istimewa dan kemudian menerapkan semakan linear pada subset tersebut.

Pengenalpastian dokumen penting juga mendapat manfaat daripada semakan manusia. TAR boleh menyusun kedudukan dokumen mengikut relevansi, tetapi mengenal pasti dokumen responsif mana yang sangat penting untuk strategi kes memerlukan pertimbangan undang-undang yang tidak dapat direplikasi oleh algoritma. Banyak firma menggunakan pendekatan hibrid: TAR mengenal pasti semua dokumen responsif, dan kemudian peguam kanan menyemak dokumen berkedudukan teratas untuk mengenal pasti yang akan memacu deposisi, usul, dan strategi perbicaraan.

Koleksi dokumen kecil (di bawah 100,000 dokumen) mungkin tidak membenarkan kos persediaan untuk TAR. Pelesenan teknologi, latihan model, dan proses pengesahan mempunyai lantai kos minimum yang boleh melebihi kos semakan linear berfokus pada set yang lebih kecil.

Bagi firma guaman yang menilai pelaburan teknologi semakan mereka, data daripada 12 kes ini menyatakan kes dengan jelas. TAR bukan sekadar alat pemotongan kos. Ia adalah alat peningkatan kualiti yang kebetulan juga lebih murah. Firma yang menyedari ini lebih awal telah membina pengetahuan institusi untuk menggunakan TAR dengan berkesan; firma yang belum berbuat demikian bersaing pada kelemahan struktur dari segi harga dan kualiti.

Apa yang Ditunjukkan oleh Data Trend

Data firma tersebut juga menunjukkan bahawa prestasi TAR bertambah baik merentasi kes berturut-turut. Kes pertama yang mereka kendalikan dengan TAR menunjukkan kadar penarikan semula 76%. Menjelang kes kedua belas, penarikan semula telah meningkat kepada 94%. Lengkung peningkatan ini mencerminkan kepakaran pasukan yang semakin berkembang dalam melatih model, memilih set benih, dan menentukur protokol pengesahan dan bukannya peningkatan dalam teknologi asas.

Implikasinya ialah terdapat lengkung pembelajaran yang bermakna untuk penggunaan TAR. Firma yang menjalankan projek TAR pertama mereka mungkin tidak melihat hasil sekuat firma yang mempunyai amalan TAR yang mantap. Tetapi peningkatan berlaku dengan agak cepat, biasanya dalam 3-4 kes, selepas itu proses menjadi rutin dan manfaat menjadi konsisten. Pelaburan dalam membina kecekapan itu membayar sendiri dalam tahun pertama untuk mana-mana firma yang mempunyai volum tetap semakan dokumen berskala besar.