Technology Assisted Review vs Linear Review: Perbandingan Biaya dan Akurasi Sesungguhnya
Sebuah firma litigasi besar melacak metrik terperinci dari 12 perkara di mana mereka menggunakan technology-assisted review (TAR) dan linear review tradisional pada kumpulan dokumen yang sebanding. Data ini menghilangkan masalah perbandingan yang tidak setara yang biasa terjadi dalam membandingkan kedua pendekatan tersebut karena setiap perkara melibatkan kasus yang sama, dokumen yang sama, dan standar relevansi yang sama. Hasilnya sangat jauh berbeda.
TAR menghasilkan rata-rata recall rate sebesar 89,4% dibandingkan dengan 67,2% untuk linear review. TAR memakan biaya rata-rata $0,31 per dokumen dibandingkan dengan $0,78 untuk linear review. TAR menyelesaikan review dalam rata-rata 4,3 minggu dibandingkan dengan 11,7 minggu untuk linear review. Di setiap metrik yang dilacak firma tersebut, technology-assisted review mengungguli review manual.
Metodologi di Balik Perbandingan Ini
Perbandingan yang dilakukan firma ini bukan sekadar latihan akademis. Pada beberapa perkara besar mereka, mereka menjalankan TAR pada seluruh koleksi dokumen sambil secara bersamaan menugaskan sebagian dokumen kepada tim linear review untuk benchmarking kualitas. Pada perkara lainnya, mereka menggunakan TAR untuk review awal dan linear review untuk sampling kontrol kualitas, menghasilkan data akurasi yang berdampingan.
Koleksi dokumen berkisar dari 200.000 hingga 6,8 juta dokumen. Richness rate (persentase dokumen yang benar-benar relevan) berkisar dari 2,1% hingga 11,4%. Variasi jenis kasus mencakup litigasi antimonopoli, penipuan sekuritas, pelanggaran paten, dan gugatan class action ketenagakerjaan.
Firma tersebut mengukur lima metrik utama di setiap perkara: recall (persentase dokumen relevan yang ditemukan), precision (persentase dokumen yang dikodekan relevan yang memang benar-benar relevan), biaya per dokumen yang direview, waktu kalender hingga penyelesaian, dan tingkat cacat pada sampel kontrol kualitas.
Mengapa Linear Review Kalah dalam Akurasi
Temuan yang mengejutkan kebanyakan orang bukanlah bahwa TAR lebih murah atau lebih cepat. Melainkan bahwa TAR lebih akurat. Asumsi yang selama ini berlaku adalah bahwa review manusia, meskipun mahal, setidaknya menangkap semuanya. Data tidak mendukung asumsi ini.
Akurasi linear review terganggu oleh beberapa masalah struktural. Kelelahan reviewer adalah yang paling signifikan. Seorang contract attorney yang mereview dokumen ke-300 dalam sehari tidak menerapkan perhatian yang sama seperti saat mereview dokumen nomor 30. Studi tentang konsistensi reviewer menunjukkan bahwa reviewer yang sama akan mengkodekan dokumen yang sama secara berbeda 20-30% dari waktu ketika disajikan kembali dokumen yang sudah pernah mereka review.
Inkonsistensi reviewer dalam satu tim memperparah masalah ini. Dalam linear review tipikal dengan 20 contract attorney, setiap reviewer mengembangkan interpretasi mereka sendiri terhadap standar relevansi, tidak peduli seberapa detail protokol review-nya. Dokumen borderline, yaitu dokumen yang bisa secara wajar dikodekan ke salah satu kategori, mendapat perlakuan yang tidak konsisten. Beberapa reviewer agresif dalam mengkodekan dokumen sebagai responsif; yang lain konservatif. Inkonsistensi ini memperkenalkan noise sistematis ke dalam review.
Distraksi dan perpindahan konteks juga berperan. Reviewer linear melihat dokumen dalam urutan yang pada dasarnya acak. Seorang contract reviewer mungkin melihat email tentang peluncuran produk, kemudian spreadsheet keuangan, lalu email pribadi, kemudian pengajuan regulasi. Perpindahan konteks yang terus-menerus membuat sulit untuk mempertahankan pemahaman yang koheren tentang bagaimana dokumen individual terkait dengan narasi kasus.
TAR menghindari masalah-masalah ini karena algoritma menerapkan kriteria yang sama pada setiap dokumen dengan konsistensi sempurna. Algoritma tidak lelah, tidak kehilangan fokus setelah makan siang, dan tidak mengembangkan interpretasi idiosinkratik terhadap protokol pengkodean.
Perbandingan Biaya Secara Detail
Perbedaan biaya per dokumen ($0,31 vs $0,78) mencerminkan beberapa faktor. TAR membutuhkan lebih sedikit total waktu attorney karena sebagian besar dokumen dinilai oleh algoritma alih-alih direview oleh manusia. Review manusia yang memang dibutuhkan TAR difokuskan pada dokumen bernilai tertinggi, artinya attorney senior menghabiskan waktu mereka pada materi yang secara substantif penting alih-alih menelusuri email yang jelas-jelas tidak relevan.
Perbandingan biaya terlihat bahkan lebih menguntungkan bagi TAR ketika Anda memasukkan biaya tidak langsung. Linear review membutuhkan manajemen proyek yang lebih ekstensif karena tim review yang lebih besar menciptakan lebih banyak overhead koordinasi. Kontrol kualitas untuk linear review membutuhkan ukuran sampling yang lebih besar karena tingkat kesalahan dasarnya lebih tinggi. Biaya hosting serupa untuk kedua pendekatan, tetapi timeline yang lebih pendek untuk TAR berarti lebih sedikit total biaya hosting.
Pada perkara dengan koleksi dokumen di atas 2 juta, kesenjangan biaya semakin melebar karena biaya tetap TAR (lisensi teknologi, pelatihan model, validasi) tersebar ke lebih banyak dokumen sementara biaya linear review meningkat secara linear seiring volume.
Di Mana Linear Review Masih Berperan
TAR tidak menghilangkan kebutuhan akan review manusia sepenuhnya. Beberapa skenario masih memerlukan tingkat linear review tertentu.
Privilege review adalah yang paling penting. Meskipun TAR dapat menandai dokumen yang berpotensi memiliki privilege, penentuan privilege akhir memerlukan pertimbangan manusia yang cermat karena konsekuensi dari memproduksi dokumen yang memiliki privilege bisa sangat berat. Sebagian besar firma menggunakan TAR untuk mengidentifikasi dokumen yang kemungkinan memiliki privilege dan kemudian menerapkan linear review pada subset tersebut.
Identifikasi hot document juga mendapat manfaat dari review manusia. TAR dapat mengurutkan dokumen berdasarkan relevansi, tetapi mengidentifikasi dokumen responsif mana yang sangat penting untuk strategi kasus memerlukan pertimbangan hukum yang tidak dapat direplikasi oleh algoritma. Banyak firma menggunakan pendekatan hybrid: TAR mengidentifikasi semua dokumen responsif, dan kemudian attorney senior mereview dokumen dengan peringkat tertinggi untuk mengidentifikasi dokumen yang akan mendorong deposisi, mosi, dan strategi persidangan.
Koleksi dokumen kecil (di bawah 100.000 dokumen) mungkin tidak membenarkan biaya setup untuk TAR. Lisensi teknologi, pelatihan model, dan proses validasi memiliki batas minimum biaya yang dapat melebihi biaya linear review terfokus pada kumpulan yang lebih kecil.
Bagi firma hukum yang mengevaluasi investasi teknologi review mereka, data dari 12 perkara ini membuat kasusnya jelas. TAR bukan sekadar alat pemangkas biaya. TAR adalah alat peningkatan kualitas yang kebetulan juga lebih murah. Firma yang menyadari ini lebih awal sudah membangun pengetahuan institusional untuk menerapkan TAR secara efektif; firma yang belum melakukannya bersaing dengan kerugian struktural baik dari segi harga maupun kualitas.
Apa yang Ditunjukkan Data Tren
Data firma tersebut juga menunjukkan bahwa kinerja TAR meningkat di setiap perkara berikutnya. Perkara pertama yang mereka tangani dengan TAR menunjukkan recall rate 76%. Pada perkara kedua belas, recall telah naik menjadi 94%. Kurva peningkatan ini mencerminkan keahlian tim yang semakin berkembang dalam melatih model, memilih seed set, dan mengkalibrasi protokol validasi, bukan peningkatan pada teknologi yang mendasarinya.
Implikasinya adalah bahwa ada kurva pembelajaran yang signifikan untuk adopsi TAR. Firma yang menjalankan proyek TAR pertama mereka mungkin tidak melihat hasil sekuat firma dengan praktik TAR yang sudah mapan. Tetapi peningkatan terjadi relatif cepat, biasanya dalam 3-4 perkara, setelah itu prosesnya menjadi rutin dan manfaatnya menjadi konsisten. Investasi dalam membangun kompetensi tersebut akan terbayar dengan sendirinya dalam tahun pertama bagi firma mana pun yang memiliki volume reguler review dokumen berskala besar.