Robolawyer sind so gut wie Menschen, sagen Forscher

Estimated read time 3 min read

Bereits im Februar 2023 stellte die internationale Anwaltskanzlei Allen & Overy ihren Anwälten Zugang zu einem KI-Chatbot zur Verfügung, der sie bei der Vertragsgestaltung unterstützt. Fast sofort begann dieses KI-System, den 3500 Anwälten des Unternehmens etwa zwei Stunden pro Woche einzusparen. Später im Jahr kündigte das Unternehmen ein KI-System an, das Vertragsverhandlungen durchführen kann und bis zu sieben Stunden pro Verhandlung einspart.

Weniger klar ist jedoch, wie groß diese Einsparungen tatsächlich sind. Wie schneidet insbesondere die Arbeit eines Large Language Model im Vergleich zur Arbeit eines Junior-Anwalts bei Standardaufgaben wie dem Verfassen oder Überprüfen eines Vertrags ab?

KI gegen Menschen

Dank der Arbeit von Lauren Martin und Kollegen vom AI Center of Excellence des Legal-Tech-Unternehmens Onit erhalten wir nun eine Art Antwort. Martin und Co. haben die Arbeit junger Anwälte direkt mit Large Language Models verglichen und sagen, dass die Maschinen ihre menschlichen Gegenstücke deutlich übertreffen. „Große Sprachmodelle stehen kurz davor, die Rechtsbranche zu revolutionieren und die Zugänglichkeit und Effizienz von Rechtsdienstleistungen zu verbessern“, sagen Martin und Co.

Das Team kommt zu diesem Schluss, indem es erfahrene Anwälte bittet, wichtige rechtliche Fragen in einer Reihe realer Beschaffungsverträge aufzuzeigen, und dann Large Language Models und junge Anwälte bittet, dieselben Verträge zu bewerten.

Die Ergebnisse waren aufschlussreich. Große Sprachmodelle wie Claude und GPT-4 erreichten bei der Identifizierung rechtlicher Angelegenheiten die menschliche Präzision oder übertrafen sie sogar. Bei der Ermittlung der spezifischen Teile von Verträgen, die sich auf diese Themen beziehen, hinkte die KI dem Menschen etwas hinterher.

Aber was die Geschwindigkeit angeht, war der Kontrast atemberaubend. Das schnellste Large Language Model erledigte Vertragsprüfungen in weniger als einer Minute, während junge Anwälte durchschnittlich 56 Minuten brauchten.

Martin und Co. sagen, dass darin die etwa 16 Stunden, die zum Trainieren eines KI-Systems erforderlich sind, nicht eingerechnet sind. Sie weisen jedoch darauf hin, dass diese Zeit in etwa der Zeit entspricht, die benötigt wird, um einen Junior-Anwalt mit der gleichen Aufgabe zu beauftragen. „Diese Äquivalenz in der Vorbereitungszeit stellt die Vorstellung in Frage, dass der Geschwindigkeitsvorteil großer Sprachmodelle durch ihre Einrichtungsanforderungen ausgeglichen wird“, sagen Martin und Co.

Und die potenziellen Kosteneinsparungen waren ebenso immens. „Während einem Junior-Anwalt durchschnittliche Kosten von 74 Dollar pro Vertragsprüfung entstehen, erledigte das schnellste Large Language Model die gleiche Aufgabe für etwa 2 Cent“, heißt es.

Mit Vorsicht fortfahren

„Die Auswirkungen auf die Rechtsbranche sind tiefgreifend und vielschichtig“, sagen die Forscher, da junge Anwälte wahrscheinlich zu Beginn ihrer Karriere mit höherwertigen Aufgaben betraut werden und Routineaufgaben eher KI-Systemen übertragen werden.

Aber nicht alles ist rosig. Die Analyse warnt davor, dass die KI im differenzierten Rechtsverständnis immer noch hinter dem Menschen zurückbleibt. Models können auch „halluzinieren“, indem sie in Verträgen nicht vorhandene Probleme ansprechen. Daher bleibt die Aufsicht durch erfahrene Anwälte von entscheidender Bedeutung.

Es ist noch viel Arbeit erforderlich, um Large Language Models in mehr Gerichtsbarkeiten und mehr Vertragsarten zu evaluieren. Die Forschung zeigt jedoch deutlich, dass KI für zentrale rechtliche Aufgaben geeignet ist. Das Recht verändert sich schnell, wie Allen & Overy bereits zeigen. Diese von der Legal-Tech-Firma Onit finanzierte Studie liefert dazu weitere Zahlen. Die Ära der Roboteranwälte ist eindeutig angebrochen.


Ref: Better Call GPT, Vergleich großer Sprachmodelle mit Anwälten: https://arxiv.org/abs/2401.16212

Dieser Beitrag wurde mit Unterstützung von Claude.AI erstellt



Image Source

You May Also Like

More From Author

+ There are no comments

Add yours