टेक्नोलॉजी असिस्टेड रिव्यू बनाम लीनियर रिव्यू: वास्तविक लागत और सटीकता की तुलना
एक बड़ी लिटिगेशन फर्म ने 12 मामलों में विस्तृत मेट्रिक्स ट्रैक किए जहां उन्होंने तुलनीय दस्तावेज़ सेट पर टेक्नोलॉजी-असिस्टेड रिव्यू (TAR) और पारंपरिक लीनियर रिव्यू दोनों का उपयोग किया। इस डेटा ने दोनों दृष्टिकोणों की तुलना में आमतौर पर आने वाली असमान तुलना की समस्या को समाप्त कर दिया क्योंकि प्रत्येक मामले में एक ही केस, एक ही दस्तावेज़ और एक ही प्रासंगिकता मानक शामिल थे। परिणाम करीब भी नहीं थे।
TAR ने लीनियर रिव्यू के 67.2% की तुलना में औसतन 89.4% रिकॉल दर हासिल की। TAR की लागत लीनियर रिव्यू के $0.78 की तुलना में प्रति दस्तावेज़ औसतन $0.31 रही। TAR ने लीनियर रिव्यू के 11.7 सप्ताह की तुलना में औसतन 4.3 सप्ताह में रिव्यू पूरा किया। फर्म द्वारा ट्रैक किए गए हर मेट्रिक में, टेक्नोलॉजी-असिस्टेड रिव्यू ने मैनुअल रिव्यू से बेहतर प्रदर्शन किया।
तुलना के पीछे की कार्यप्रणाली
फर्म की यह तुलना कोई अकादमिक अभ्यास नहीं था। अपने कई बड़े मामलों में, उन्होंने पूरे दस्तावेज़ संग्रह पर TAR चलाया और साथ ही गुणवत्ता बेंचमार्किंग के लिए एक उपसमूह को लीनियर रिव्यू टीमों को सौंपा। अन्य मामलों में, उन्होंने प्रारंभिक रिव्यू के लिए TAR और गुणवत्ता नियंत्रण सैंपलिंग के लिए लीनियर रिव्यू का उपयोग किया, जिससे साथ-साथ सटीकता डेटा तैयार हुआ।
दस्तावेज़ संग्रह 200,000 से 6.8 मिलियन दस्तावेज़ों तक थे। रिचनेस दरें (वास्तव में प्रासंगिक दस्तावेज़ों का प्रतिशत) 2.1% से 11.4% तक थीं। केस प्रकारों की विविधता में एंटीट्रस्ट लिटिगेशन, सिक्योरिटीज़ फ्रॉड, पेटेंट उल्लंघन और रोजगार क्लास एक्शन शामिल थे।
फर्म ने हर मामले में पांच प्रमुख मेट्रिक्स मापे: रिकॉल (पाए गए प्रासंगिक दस्तावेज़ों का प्रतिशत), प्रिसिज़न (प्रासंगिक कोड किए गए दस्तावेज़ों में से वास्तव में प्रासंगिक दस्तावेज़ों का प्रतिशत), प्रति दस्तावेज़ रिव्यू लागत, पूरा होने में लगा कैलेंडर समय, और गुणवत्ता नियंत्रण सैंपल पर दोष दर।
लीनियर रिव्यू सटीकता में क्यों पिछड़ता है
जो बात अधिकांश लोगों को आश्चर्यचकित करती है वह यह नहीं है कि TAR सस्ता या तेज़ है। बल्कि यह है कि TAR अधिक सटीक है। धारणा हमेशा यह रही है कि मानव रिव्यू, भले ही महंगा हो, कम से कम सब कुछ पकड़ लेता है। डेटा इस धारणा का समर्थन नहीं करता।
लीनियर रिव्यू की सटीकता कई संरचनात्मक समस्याओं से प्रभावित होती है। रिव्यूअर थकान सबसे महत्वपूर्ण है। एक कॉन्ट्रैक्ट अटॉर्नी जो दिन का अपना 300वां दस्तावेज़ रिव्यू कर रहा है, वह उतना ही ध्यान नहीं लगाता जितना उसने दस्तावेज़ नंबर 30 पर लगाया था। रिव्यूअर संगतता पर अध्ययन दिखाते हैं कि एक ही रिव्यूअर उन दस्तावेज़ों को 20-30% बार अलग तरीके से कोड करेगा जो उन्हें पहले से रिव्यू किए गए दस्तावेज़ों के रूप में दोबारा प्रस्तुत किए जाते हैं।
एक टीम में रिव्यूअर असंगतता समस्या को और बढ़ा देती है। 20 कॉन्ट्रैक्ट अटॉर्नी वाले एक सामान्य लीनियर रिव्यू में, प्रत्येक रिव्यूअर प्रासंगिकता मानक की अपनी व्याख्या विकसित करता है, चाहे रिव्यू प्रोटोकॉल कितना भी विस्तृत हो। सीमावर्ती दस्तावेज़, जिन्हें किसी भी तरह से कोड किया जा सकता है, असंगत उपचार पाते हैं। कुछ रिव्यूअर दस्तावेज़ों को रिस्पॉन्सिव कोड करने में आक्रामक होते हैं; अन्य रूढ़िवादी होते हैं। यह असंगतता रिव्यू में व्यवस्थित शोर पैदा करती है।
ध्यान भटकना और संदर्भ बदलना भी एक भूमिका निभाते हैं। लीनियर रिव्यूअर दस्तावेज़ों को अनिवार्य रूप से यादृच्छिक क्रम में देखते हैं। एक कॉन्ट्रैक्ट रिव्यूअर किसी उत्पाद लॉन्च के बारे में एक ईमेल देख सकता है, फिर एक वित्तीय स्प्रेडशीट, फिर एक व्यक्तिगत ईमेल, फिर एक नियामक फाइलिंग। लगातार संदर्भ बदलना इस बात को कठिन बना देता है कि व्यक्तिगत दस्तावेज़ केस कथा से कैसे संबंधित हैं, इसकी सुसंगत समझ बनाए रखना।
TAR इन समस्याओं से बचता है क्योंकि एल्गोरिदम पूर्ण संगतता के साथ हर दस्तावेज़ पर समान मानदंड लागू करता है। यह थकता नहीं, लंच के बाद ध्यान नहीं खोता, और कोडिंग प्रोटोकॉल की विशिष्ट व्याख्याएं विकसित नहीं करता।
लागत तुलना विस्तार से
प्रति-दस्तावेज़ लागत अंतर ($0.31 बनाम $0.78) कई कारकों को दर्शाता है। TAR को कम कुल अटॉर्नी समय की आवश्यकता होती है क्योंकि अधिकांश दस्तावेज़ों को मनुष्यों द्वारा रिव्यू करने के बजाय एल्गोरिदम द्वारा स्कोर किया जाता है। TAR के लिए जो मानव रिव्यू आवश्यक है वह सबसे अधिक मूल्यवान दस्तावेज़ों पर केंद्रित है, जिसका अर्थ है कि वरिष्ठ अटॉर्नी अपना समय स्पष्ट रूप से अप्रासंगिक ईमेल में से गुज़रने के बजाय सारगर्भित रूप से महत्वपूर्ण सामग्रियों पर बिताते हैं।
जब आप अप्रत्यक्ष लागतों को शामिल करते हैं तो लागत तुलना TAR के लिए और भी अनुकूल दिखती है। लीनियर रिव्यू को अधिक व्यापक प्रोजेक्ट प्रबंधन की आवश्यकता होती है क्योंकि बड़ी रिव्यू टीमें अधिक समन्वय ओवरहेड पैदा करती हैं। लीनियर रिव्यू के लिए गुणवत्ता नियंत्रण को बड़े सैंपलिंग आकार की आवश्यकता होती है क्योंकि आधार त्रुटि दर अधिक होती है। होस्टिंग लागत दोनों दृष्टिकोणों के लिए समान है, लेकिन TAR की छोटी समयसीमा का मतलब कम कुल होस्टिंग खर्च है।
2 मिलियन से अधिक दस्तावेज़ संग्रह वाले मामलों में, लागत अंतर और बढ़ जाता है क्योंकि TAR की निश्चित लागतें (टेक्नोलॉजी लाइसेंसिंग, मॉडल प्रशिक्षण, सत्यापन) अधिक दस्तावेज़ों में वितरित हो जाती हैं जबकि लीनियर रिव्यू लागत मात्रा के साथ रैखिक रूप से बढ़ती है।
जहां लीनियर रिव्यू की अभी भी भूमिका है
TAR मानव रिव्यू की आवश्यकता को पूरी तरह समाप्त नहीं करता। कई परिदृश्य अभी भी कुछ हद तक लीनियर रिव्यू के पक्ष में हैं।
प्रिविलेज रिव्यू सबसे महत्वपूर्ण है। जबकि TAR संभावित रूप से प्रिविलेज्ड दस्तावेज़ों को फ्लैग कर सकता है, अंतिम प्रिविलेज निर्धारण के लिए सावधानीपूर्ण मानव निर्णय की आवश्यकता होती है क्योंकि प्रिविलेज्ड दस्तावेज़ प्रस्तुत करने के परिणाम गंभीर हो सकते हैं। अधिकांश फर्म संभावित प्रिविलेज्ड दस्तावेज़ों की पहचान के लिए TAR का उपयोग करती हैं और फिर उस उपसमूह पर लीनियर रिव्यू लागू करती हैं।
महत्वपूर्ण दस्तावेज़ पहचान भी मानव रिव्यू से लाभान्वित होती है। TAR प्रासंगिकता के आधार पर दस्तावेज़ों को रैंक कर सकता है, लेकिन यह पहचानना कि कौन से रिस्पॉन्सिव दस्तावेज़ केस रणनीति के लिए विशेष रूप से महत्वपूर्ण हैं, इसके लिए कानूनी निर्णय की आवश्यकता होती है जिसे एल्गोरिदम दोहरा नहीं सकते। कई फर्म एक हाइब्रिड दृष्टिकोण का उपयोग करती हैं: TAR सभी रिस्पॉन्सिव दस्तावेज़ों की पहचान करता है, और फिर वरिष्ठ अटॉर्नी शीर्ष-रैंक वाले दस्तावेज़ों की समीक्षा करते हैं ताकि उन दस्तावेज़ों की पहचान की जा सके जो डिपोज़िशन, मोशन और ट्रायल रणनीति को संचालित करेंगे।
छोटे दस्तावेज़ संग्रह (100,000 दस्तावेज़ों से कम) TAR के लिए सेटअप लागत को उचित नहीं ठहरा सकते। टेक्नोलॉजी लाइसेंसिंग, मॉडल प्रशिक्षण और सत्यापन प्रक्रिया की एक न्यूनतम लागत सीमा होती है जो छोटे सेट पर केंद्रित लीनियर रिव्यू की लागत से अधिक हो सकती है।
अपने रिव्यू टेक्नोलॉजी निवेशों का मूल्यांकन करने वाली लॉ फर्मों के लिए, इन 12 मामलों का डेटा स्पष्ट रूप से बात कहता है। TAR केवल लागत-कटौती का उपकरण नहीं है। यह एक गुणवत्ता सुधार उपकरण है जो कम लागत भी लगाता है। जिन फर्मों ने इसे जल्दी पहचान लिया, उन्होंने पहले से ही TAR को प्रभावी ढंग से तैनात करने के लिए संस्थागत ज्ञान बना लिया है; जिन फर्मों ने नहीं किया, वे कीमत और गुणवत्ता दोनों पर संरचनात्मक नुकसान में प्रतिस्पर्धा कर रही हैं।
ट्रेंड डेटा क्या दिखाता है
फर्म के डेटा ने यह भी दिखाया कि क्रमिक मामलों में TAR का प्रदर्शन बेहतर होता गया। TAR के साथ उन्होंने जो पहला मामला संभाला उसमें 76% रिकॉल दर दिखी। बारहवें मामले तक, रिकॉल 94% तक पहुंच गया। यह सुधार वक्र अंतर्निहित टेक्नोलॉजी में सुधार के बजाय मॉडल प्रशिक्षण, सीड सेट चयन और सत्यापन प्रोटोकॉल कैलिब्रेशन में टीम की बढ़ती विशेषज्ञता को दर्शाता है।
इसका निहितार्थ यह है कि TAR अपनाने के लिए एक सार्थक सीखने की अवस्था है। जो फर्म अपना पहला TAR प्रोजेक्ट चलाती हैं, उन्हें स्थापित TAR प्रथाओं वाली फर्मों जितने मजबूत परिणाम नहीं दिख सकते। लेकिन सुधार अपेक्षाकृत जल्दी होता है, आमतौर पर 3-4 मामलों के भीतर, जिसके बाद प्रक्रिया नियमित हो जाती है और लाभ सुसंगत हो जाते हैं। उस दक्षता के निर्माण में निवेश बड़े पैमाने पर दस्तावेज़ रिव्यू की नियमित मात्रा वाली किसी भी फर्म के लिए पहले वर्ष के भीतर ही अपनी लागत वसूल कर लेता है।