المراجعة بمساعدة التكنولوجيا مقابل المراجعة الخطية: مقارنة حقيقية للتكلفة والدقة
تتبع مكتب محاماة كبير متخصص في التقاضي مقاييس تفصيلية عبر 12 قضية استخدم فيها كلاً من المراجعة بمساعدة التكنولوجيا (TAR) والمراجعة الخطية التقليدية على مجموعات مستندات متماثلة. تُزيل هذه البيانات مشكلة المقارنة غير العادلة المعتادة بين النهجين، لأن كل قضية تضمنت نفس الملف ونفس المستندات ونفس معايير الصلة. ولم تكن النتائج متقاربة.
حققت المراجعة بمساعدة التكنولوجيا معدل استرجاع متوسط بلغ 89.4% مقارنة بـ 67.2% للمراجعة الخطية. وبلغت تكلفة المراجعة بمساعدة التكنولوجيا في المتوسط 0.31 دولار لكل مستند مقارنة بـ 0.78 دولار للمراجعة الخطية. وأنجزت المراجعة بمساعدة التكنولوجيا العمل في متوسط 4.3 أسابيع مقارنة بـ 11.7 أسبوعاً للمراجعة الخطية. وعبر كل مقياس تتبعه المكتب، تفوقت المراجعة بمساعدة التكنولوجيا على المراجعة اليدوية.
المنهجية المتبعة في المقارنة
لم تكن مقارنة المكتب تمريناً أكاديمياً. ففي عدد من قضاياهم الكبرى، طبقوا المراجعة بمساعدة التكنولوجيا على مجموعة المستندات الكاملة مع تكليف مجموعة فرعية لفرق المراجعة الخطية في الوقت ذاته لأغراض قياس الجودة. وفي قضايا أخرى، استخدموا المراجعة بمساعدة التكنولوجيا للمراجعة الأولية والمراجعة الخطية لأخذ عينات مراقبة الجودة، مما أنتج بيانات دقة جنباً إلى جنب.
تراوحت مجموعات المستندات بين 200,000 و6.8 مليون مستند. وتراوحت معدلات الثراء (نسبة المستندات ذات الصلة فعلياً) بين 2.1% و11.4%. وشملت أنواع القضايا المتنوعة دعاوى مكافحة الاحتكار، والاحتيال في الأوراق المالية، وانتهاك براءات الاختراع، والدعاوى الجماعية المتعلقة بالتوظيف.
قاس المكتب خمسة مقاييس رئيسية عبر كل قضية: الاسترجاع (نسبة المستندات ذات الصلة التي تم العثور عليها)، والدقة (نسبة المستندات المصنفة كذات صلة والتي كانت كذلك فعلاً)، والتكلفة لكل مستند تمت مراجعته، والوقت التقويمي حتى الإنجاز، ومعدل العيوب في عينات مراقبة الجودة.
لماذا تتراجع دقة المراجعة الخطية
النتيجة التي تفاجئ معظم الناس ليست أن المراجعة بمساعدة التكنولوجيا أرخص أو أسرع، بل أنها أكثر دقة. فالافتراض السائد دائماً كان أن المراجعة البشرية، رغم تكلفتها العالية، تلتقط كل شيء على الأقل. لكن البيانات لا تدعم هذا الافتراض.
تعاني دقة المراجعة الخطية من عدة مشكلات هيكلية. إرهاق المراجعين هو الأكثر أهمية. فالمحامي المتعاقد الذي يراجع مستنده رقم 300 في اليوم ببساطة لا يُطبق نفس مستوى الانتباه الذي طبقه على المستند رقم 30. وتُظهر الدراسات حول اتساق المراجعين أن المراجع نفسه سيُصنف المستند نفسه بشكل مختلف بنسبة 20-30% من الوقت عند إعادة عرض مستندات سبق أن راجعها.
عدم اتساق المراجعين عبر الفريق يُضاعف المشكلة. في مراجعة خطية نموذجية تضم 20 محامياً متعاقداً، يطور كل مراجع تفسيره الخاص لمعيار الصلة، بغض النظر عن مدى تفصيل بروتوكول المراجعة. والمستندات الحدية، تلك التي يمكن تصنيفها بشكل معقول في أي من الاتجاهين، تحصل على معاملة غير متسقة. بعض المراجعين يميلون بقوة لتصنيف المستندات كمستجيبة؛ وآخرون يكونون أكثر تحفظاً. هذا عدم الاتساق يُدخل ضوضاء منهجية في المراجعة.
التشتت والتبديل بين السياقات يلعبان دوراً أيضاً. يرى المراجعون الخطيون المستندات بترتيب عشوائي بشكل أساسي. فقد ينظر المراجع المتعاقد إلى بريد إلكتروني حول إطلاق منتج، ثم جدول بيانات مالي، ثم بريد إلكتروني شخصي، ثم ملف تنظيمي. هذا التبديل المستمر بين السياقات يجعل من الصعب الحفاظ على فهم متماسك لكيفية ارتباط المستندات الفردية بسردية القضية.
تتجنب المراجعة بمساعدة التكنولوجيا هذه المشكلات لأن الخوارزمية تُطبق نفس المعايير على كل مستند باتساق تام. فهي لا تتعب، ولا تفقد تركيزها بعد الغداء، ولا تطور تفسيرات خاصة لبروتوكول التصنيف.
مقارنة التكلفة بالتفصيل
يعكس فرق التكلفة لكل مستند (0.31 دولار مقابل 0.78 دولار) عدة عوامل. تتطلب المراجعة بمساعدة التكنولوجيا وقتاً إجمالياً أقل للمحامين لأن معظم المستندات يتم تقييمها بواسطة الخوارزمية بدلاً من مراجعتها بواسطة البشر. والمراجعة البشرية التي تتطلبها المراجعة بمساعدة التكنولوجيا تركز على المستندات الأعلى قيمة، مما يعني أن المحامين الأقدم يقضون وقتهم على مواد مهمة جوهرياً بدلاً من الخوض في رسائل بريد إلكتروني غير ذات صلة بشكل واضح.
تبدو مقارنة التكلفة أكثر ملاءمة للمراجعة بمساعدة التكنولوجيا عند تضمين التكاليف غير المباشرة. تتطلب المراجعة الخطية إدارة مشاريع أكثر شمولاً لأن فرق المراجعة الأكبر تُنشئ المزيد من أعباء التنسيق. وتتطلب مراقبة جودة المراجعة الخطية أحجام عينات أكبر لأن معدل الخطأ الأساسي أعلى. وتكاليف الاستضافة متشابهة لكلا النهجين، لكن الجدول الزمني الأقصر للمراجعة بمساعدة التكنولوجيا يعني إجمالي نفقات استضافة أقل.
في القضايا التي تتجاوز مجموعات مستنداتها 2 مليون، تتسع فجوة التكلفة أكثر لأن التكاليف الثابتة للمراجعة بمساعدة التكنولوجيا (ترخيص التكنولوجيا، تدريب النموذج، التحقق) تتوزع على عدد أكبر من المستندات بينما تتزايد تكاليف المراجعة الخطية بشكل خطي مع الحجم.
أين لا تزال المراجعة الخطية لها دور
لا تُلغي المراجعة بمساعدة التكنولوجيا الحاجة إلى المراجعة البشرية بالكامل. فعدة سيناريوهات لا تزال تُفضل درجة معينة من المراجعة الخطية.
مراجعة الامتياز القانوني هي الأهم. فبينما يمكن للمراجعة بمساعدة التكنولوجيا تحديد المستندات المحتمل أنها محمية بالامتياز، فإن التحديد النهائي للامتياز يتطلب حكماً بشرياً دقيقاً لأن عواقب تقديم مستند محمي بالامتياز يمكن أن تكون وخيمة. تستخدم معظم المكاتب المراجعة بمساعدة التكنولوجيا لتحديد المستندات المحتمل أنها محمية ثم تُطبق المراجعة الخطية على تلك المجموعة الفرعية.
تحديد المستندات الحاسمة يستفيد أيضاً من المراجعة البشرية. يمكن للمراجعة بمساعدة التكنولوجيا ترتيب المستندات حسب الصلة، لكن تحديد أي المستندات المستجيبة ذات أهمية خاصة لاستراتيجية القضية يتطلب حكماً قانونياً لا تستطيع الخوارزميات تكراره. تستخدم العديد من المكاتب نهجاً هجيناً: تحدد المراجعة بمساعدة التكنولوجيا جميع المستندات المستجيبة، ثم يراجع المحامون الأقدم المستندات الأعلى ترتيباً لتحديد تلك التي ستقود الاستجوابات والطلبات واستراتيجية المحاكمة.
مجموعات المستندات الصغيرة (أقل من 100,000 مستند) قد لا تبرر تكاليف إعداد المراجعة بمساعدة التكنولوجيا. فترخيص التكنولوجيا وتدريب النموذج وعملية التحقق لها حد أدنى من التكلفة قد يتجاوز تكلفة مراجعة خطية مركزة على مجموعات أصغر.
بالنسبة لمكاتب المحاماة التي تُقيّم استثماراتها في تكنولوجيا المراجعة، فإن البيانات من هذه القضايا الـ 12 تُوضح الأمر بجلاء. المراجعة بمساعدة التكنولوجيا ليست مجرد أداة لخفض التكاليف. إنها أداة لتحسين الجودة تتميز أيضاً بتكلفة أقل. المكاتب التي أدركت ذلك مبكراً بنت بالفعل المعرفة المؤسسية لنشر المراجعة بمساعدة التكنولوجيا بفعالية؛ أما المكاتب التي لم تفعل فهي تتنافس بعيب هيكلي في السعر والجودة معاً.
ما تُظهره بيانات الاتجاهات
أظهرت بيانات المكتب أيضاً أن أداء المراجعة بمساعدة التكنولوجيا تحسن عبر القضايا المتتالية. أظهرت القضية الأولى التي تعاملوا معها باستخدام المراجعة بمساعدة التكنولوجيا معدل استرجاع بلغ 76%. وبحلول القضية الثانية عشرة، ارتفع الاسترجاع إلى 94%. يعكس منحنى التحسن هذا الخبرة المتنامية للفريق في تدريب النماذج واختيار مجموعات البذور ومعايرة بروتوكولات التحقق، وليس تحسينات في التكنولوجيا الأساسية.
المعنى الضمني هو أن هناك منحنى تعلم ذا مغزى لتبني المراجعة بمساعدة التكنولوجيا. المكاتب التي تُنفذ مشروعها الأول للمراجعة بمساعدة التكنولوجيا قد لا ترى نتائج بنفس قوة المكاتب ذات الممارسات الراسخة. لكن التحسن يحدث بسرعة نسبية، عادةً خلال 3-4 قضايا، وبعدها تصبح العملية روتينية وتصبح الفوائد متسقة. والاستثمار في بناء تلك الكفاءة يُسدد تكلفته خلال السنة الأولى لأي مكتب لديه حجم منتظم من مراجعات المستندات واسعة النطاق.