Technologiegestützte Überprüfung vs. lineare Überprüfung: Realer Kosten- und Genauigkeitsvergleich

Eine große Prozessrechtskanzlei erfasste detaillierte Kennzahlen über 12 Verfahren hinweg, bei denen sie sowohl technologiegestützte Überprüfung (TAR) als auch traditionelle lineare Überprüfung auf vergleichbaren Dokumentenbeständen einsetzte. Die Daten beseitigen das übliche Äpfel-mit-Birnen-Problem beim Vergleich der beiden Ansätze, da jedes Verfahren denselben Fall, dieselben Dokumente und dieselben Relevanzstandards umfasste. Die Ergebnisse waren eindeutig.

TAR erzielte eine durchschnittliche Trefferquote (Recall) von 89,4 % im Vergleich zu 67,2 % bei der linearen Überprüfung. TAR kostete durchschnittlich 0,31 $ pro Dokument im Vergleich zu 0,78 $ bei der linearen Überprüfung. TAR schloss die Überprüfung in durchschnittlich 4,3 Wochen ab, verglichen mit 11,7 Wochen bei der linearen Überprüfung. Bei jeder Kennzahl, die die Kanzlei erfasste, übertraf die technologiegestützte Überprüfung die manuelle Überprüfung.

Die Methodik hinter dem Vergleich

Der Vergleich der Kanzlei war keine akademische Übung. Bei mehreren ihrer größeren Verfahren führten sie TAR auf dem gesamten Dokumentenbestand durch und wiesen gleichzeitig eine Teilmenge linearen Überprüfungsteams zur Qualitätsbenchmarkierung zu. Bei anderen Verfahren nutzten sie TAR für die Erstüberprüfung und lineare Überprüfung für die Qualitätskontrollstichproben, wodurch Genauigkeitsdaten im direkten Vergleich generiert wurden.

Die Dokumentenbestände reichten von 200.000 bis 6,8 Millionen Dokumente. Die Relevanzraten (der Prozentsatz der Dokumente, die tatsächlich relevant waren) lagen zwischen 2,1 % und 11,4 %. Die Vielfalt der Falltypen umfasste Kartellrechtsstreitigkeiten, Wertpapierbetrug, Patentverletzungen und arbeitsrechtliche Sammelklagen.

Die Kanzlei maß fünf Schlüsselkennzahlen über jedes Verfahren hinweg: Recall (Prozentsatz der gefundenen relevanten Dokumente), Precision (Prozentsatz der als relevant codierten Dokumente, die tatsächlich relevant waren), Kosten pro überprüftem Dokument, kalendarische Zeit bis zum Abschluss und Fehlerquote bei Qualitätskontrollstichproben.

Warum die lineare Überprüfung bei der Genauigkeit unterdurchschnittlich abschneidet

Die Erkenntnis, die die meisten Menschen überrascht, ist nicht, dass TAR günstiger oder schneller ist. Es ist, dass TAR genauer ist. Die Annahme war immer, dass menschliche Überprüfung, obwohl teuer, zumindest alles erfasst. Die Daten stützen diese Annahme nicht.

Die Genauigkeit der linearen Überprüfung leidet unter mehreren strukturellen Problemen. Ermüdung der Prüfer ist das bedeutendste. Ein Vertragsanwalt, der sein 300. Dokument des Tages überprüft, wendet schlichtweg nicht dieselbe Aufmerksamkeit auf wie bei Dokument Nummer 30. Studien zur Konsistenz von Prüfern zeigen, dass derselbe Prüfer dasselbe Dokument in 20–30 % der Fälle anders codiert, wenn ihm bereits überprüfte Dokumente erneut vorgelegt werden.

Inkonsistenz der Prüfer innerhalb eines Teams verschärft das Problem. Bei einer typischen linearen Überprüfung mit 20 Vertragsanwälten entwickelt jeder Prüfer seine eigene Interpretation des Relevanzstandards, egal wie detailliert das Überprüfungsprotokoll ist. Grenzfälle – Dokumente, die vernünftigerweise in beide Richtungen codiert werden könnten – werden uneinheitlich behandelt. Einige Prüfer codieren Dokumente aggressiv als relevant; andere sind konservativ. Diese Inkonsistenz führt zu systematischem Rauschen in der Überprüfung.

Ablenkung und Kontextwechsel spielen ebenfalls eine Rolle. Lineare Prüfer sehen Dokumente in im Wesentlichen zufälliger Reihenfolge. Ein Vertragsprüfer könnte eine E-Mail über eine Produkteinführung betrachten, dann eine Finanztabelle, dann eine persönliche E-Mail, dann eine behördliche Einreichung. Der ständige Kontextwechsel erschwert es, ein kohärentes Verständnis davon zu bewahren, wie einzelne Dokumente mit der Fallerzählung zusammenhängen.

TAR vermeidet diese Probleme, weil der Algorithmus dieselben Kriterien auf jedes Dokument mit perfekter Konsistenz anwendet. Er wird nicht müde, verliert nach dem Mittagessen nicht den Fokus und entwickelt keine eigenwilligen Interpretationen des Codierungsprotokolls.

Der Kostenvergleich im Detail

Der Kostenunterschied pro Dokument (0,31 $ vs. 0,78 $) spiegelt mehrere Faktoren wider. TAR erfordert insgesamt weniger Anwaltszeit, da die meisten Dokumente vom Algorithmus bewertet werden, anstatt von Menschen überprüft zu werden. Die menschliche Überprüfung, die TAR erfordert, konzentriert sich auf die wertvollsten Dokumente, was bedeutet, dass erfahrene Anwälte ihre Zeit mit inhaltlich wichtigen Materialien verbringen, anstatt sich durch offensichtlich irrelevante E-Mails zu arbeiten.

Der Kostenvergleich fällt noch günstiger für TAR aus, wenn man indirekte Kosten einbezieht. Lineare Überprüfung erfordert ein umfangreicheres Projektmanagement, da größere Überprüfungsteams mehr Koordinationsaufwand verursachen. Die Qualitätskontrolle für die lineare Überprüfung erfordert größere Stichprobenumfänge, da die Grundfehlerquote höher ist. Die Hosting-Kosten sind bei beiden Ansätzen ähnlich, aber der kürzere Zeitrahmen bei TAR bedeutet geringere Gesamtkosten für das Hosting.

Bei Verfahren mit Dokumentenbeständen über 2 Millionen vergrößert sich die Kostenlücke weiter, da die Fixkosten von TAR (Technologielizenzierung, Modelltraining, Validierung) auf mehr Dokumente verteilt werden, während die Kosten der linearen Überprüfung linear mit dem Volumen skalieren.

Wo die lineare Überprüfung noch eine Rolle spielt

TAR eliminiert die Notwendigkeit menschlicher Überprüfung nicht vollständig. Mehrere Szenarien sprechen weiterhin für einen gewissen Grad an linearer Überprüfung.

Die Überprüfung auf anwaltliche Schweigepflicht ist das wichtigste. Während TAR potenziell privilegierte Dokumente markieren kann, erfordert die endgültige Entscheidung über das Vorliegen eines Schutzes eine sorgfältige menschliche Beurteilung, da die Konsequenzen der Herausgabe eines geschützten Dokuments schwerwiegend sein können. Die meisten Kanzleien nutzen TAR, um wahrscheinlich geschützte Dokumente zu identifizieren, und wenden dann eine lineare Überprüfung auf diese Teilmenge an.

Auch die Identifizierung von Schlüsseldokumenten profitiert von menschlicher Überprüfung. TAR kann Dokumente nach Relevanz ordnen, aber die Identifizierung, welche relevanten Dokumente besonders wichtig für die Fallstrategie sind, erfordert juristische Beurteilung, die Algorithmen nicht replizieren können. Viele Kanzleien nutzen einen hybriden Ansatz: TAR identifiziert alle relevanten Dokumente, und dann überprüfen erfahrene Anwälte die am höchsten eingestuften Dokumente, um diejenigen zu identifizieren, die Vernehmungen, Anträge und die Prozessstrategie bestimmen werden.

Kleine Dokumentenbestände (unter 100.000 Dokumente) rechtfertigen möglicherweise nicht die Einrichtungskosten für TAR. Die Technologielizenzierung, das Modelltraining und der Validierungsprozess haben eine Mindestkostenschwelle, die die Kosten einer fokussierten linearen Überprüfung bei kleineren Beständen übersteigen kann.

Für Kanzleien, die ihre Investitionen in Überprüfungstechnologie evaluieren, machen die Daten aus diesen 12 Verfahren den Fall deutlich. TAR ist nicht nur ein Kostensenkungsinstrument. Es ist ein Qualitätsverbesserungsinstrument, das zudem auch noch weniger kostet. Die Kanzleien, die dies früh erkannt haben, haben bereits das institutionelle Wissen aufgebaut, um TAR effektiv einzusetzen; die Kanzleien, die dies nicht getan haben, konkurrieren mit einem strukturellen Nachteil bei Preis und Qualität.

Was die Trenddaten zeigen

Die Daten der Kanzlei zeigten auch, dass die TAR-Leistung über aufeinanderfolgende Verfahren hinweg besser wurde. Das erste Verfahren, das sie mit TAR bearbeiteten, zeigte eine Trefferquote von 76 %. Beim zwölften Verfahren war der Recall auf 94 % gestiegen. Diese Verbesserungskurve spiegelt die wachsende Expertise des Teams beim Trainieren von Modellen, der Auswahl von Seed-Sets und der Kalibrierung von Validierungsprotokollen wider – und nicht Verbesserungen der zugrunde liegenden Technologie.

Die Implikation ist, dass es eine bedeutsame Lernkurve bei der TAR-Einführung gibt. Kanzleien, die ihr erstes TAR-Projekt durchführen, sehen möglicherweise nicht so starke Ergebnisse wie Kanzleien mit etablierten TAR-Praktiken. Aber die Verbesserung erfolgt relativ schnell – typischerweise innerhalb von 3–4 Verfahren – danach wird der Prozess zur Routine und die Vorteile werden konsistent. Die Investition in den Aufbau dieser Kompetenz amortisiert sich innerhalb des ersten Jahres für jede Kanzlei mit einem regelmäßigen Volumen an groß angelegten Dokumentenüberprüfungen.