Wrap-up Teil 1: Unsere Forschungsarbeit

Das haben wir im Forschungsprojekt gemacht

In diesem Beitrag möchten wir nach Abschluss unseres Forschungsprojekts „Juriskop“ einen ausführlichen Abriss dessen geben, was wir erforscht haben, welche Prototypen wir entwickelt haben und wie wir dabei vorgegangen sind. Was wir dabei gelernt haben, fassen wir in Teil 2 unseres Wrap-ups zusammen.

Wer sich selbst ein Bild von den nachfolgend beschriebenen Prototypen machen möchte, kann das hier tun.

Rechtliche “Erste Hilfe” für Ukrainer/innen

Wir wollten gleich zu Beginn des Forschungsprojekts ins doing und ins prototyping kommen. Also haben wir uns ein aktuelles Thema ausgewählt: den Ukraine-Krieg. Bereits im März 2022 veröffentlichten wir einen einfachen Clickbot, der Personen, die vom Ukraine-Krieg betroffen waren, bei rechtlichen Fragen helfen sollte. Basierend auf einigen wenigen Angaben der Nutzenden (z.B. Nationalität und Zeitpunkt der Einreise nach Deutschland) erhielten sie passende Informationen und Handlungsempfehlungen zu Themen wie Aufenthaltsdauer, Visumspflicht und Sozialleistungen.

Das nötige Fachwissen hatte unser Team zuvor durch juristische Recherchen aus Gesetzen, Rechtsprechung, Fachliteratur und Behördeninformationen zusammengetragen, unterstützt von einer Würzburger Migrationsrechts-Expertin und mehreren Refugee Law Clinics. Diese Inhalte wurden in Listen und Diagrammen aufbereitet, mithilfe von Graphdatenbanken formalisiert und in den Clickbot integriert.

Anhand eigener Tests und Nutzer-Feedbacks haben wir den Bot bis September 2022 technisch und inhaltlich weiterentwickelt. Mit der wachsenden Anzahl rechtlicher Fragestellungen stieß der Clickbot jedoch vermehrt an seine Grenzen in Bezug auf Übersichtlichkeit und Effizienz.

Deshalb entwickelten und testeten wir zum gleichen Thema experimentelle FAQ, von uns „smart FAQ“ getauft. Diese erweitern die klassische FAQ-Idee, indem sie zunächst zahlreiche allgemein gehaltene Informationen und Empfehlungen bereithalten, den Nutzenden aber die Möglichkeit geben, durch wenige individuelle Angaben (z.B. zu ihrer Nationalität und Einreise nach Deutschland) die Texte zu konkretisieren, basierend auf dem von uns formalisierten Fachwissen.

Erbrecht ganz einfach: Der Erbrechts-Bot

Als erstes größeres Rechtsthema haben wir die gesetzliche Erbfolge ausgewählt. Hierzu haben wir einen Bot entwickelt, der auf Basis von Nutzer-Angaben zu Verwandtschaftsverhältnissen die gesetzliche Erbfolge berechnen kann. Der Bot gibt also nach einem kurzen Dialog an, wer in der konkret ermittelten Personenkonstellation etwas erben würde und zu welchen Anteilen. Außerdem können Nutzende klären, inwieweit diese Erbfolge angepasst werden kann.

Zunächst haben wir umfassendes Wissen zum Thema Erbrecht gesammelt und systematisiert. Dies umfasste relevante Gesetzestexte, Beispielsfälle und Urteile, die in Listen und Diagrammen dargestellt wurden. Außerdem wurden die Kriterien herausgearbeitet, die jeweils für die rechtliche Bewertung entscheidend sind.

Das gesammelte Wissen haben wir in der Prädikatenlogik-Programmiersprache „Prolog“ formalisiert, da dieses System besonders gut geeignet ist, um komplexe juristische Zusammenhänge und Beziehungen abzubilden. Zusätzlich wurde eine von uns „Monotoniegarantie“ getaufte Komponente in Typescript entwickelt, die es ermöglicht zu prüfen, welche weiteren Informationen das aktuelle Ergebnis noch beeinflussen könnten. Daraus kann abgeleitet werden, welche Fragen im Bot noch gestellt werden sollten, um den Sachverhalt umfassend zu ermitteln.

Technisch wurde in den ersten Chatbot-Prototypen zunächst eine Sprachverarbeitungspipeline implementiert, um freie Nutzer-Eingaben zu verarbeiten. Diese Pipeline beinhaltete u.a. PartOfSpeech-Tagging und sollte die Nutzer-Eingaben sprachlich umfassend interpretieren und auf die rechtlich relevanten Kriterien matchen. Leider hat sich in den ersten Tests und Evaluierungen herausgestellt, dass die erforderliche Qualität der Textanalyse gerade bei unerwarteten Eingaben nicht erreicht werden konnte und andererseits die Nutzenden die bereitgestellten Anleitungen und Beispiele aufgrund deren Umfangs häufig nicht wahrnahmen oder befolgten. Zudem tendierten Test-Nutzende dazu, auch Angaben zu für die Erbfolge irrelevanten Personen zu machen oder beschwerten sich darüber, dass nicht ersichtlich sei, welche Angaben für die rechtliche Bewertung noch relevant wären.

Deshalb haben wir in der Folge den Ansatz der freien Texteingabe durch einen geführten Dialog ersetzt. Dieser Ansatz stellt sicher, dass nur die für die Erbfolge relevanten Fragen gestellt und die Nutzer-Eingaben auf das Nötige und Sinnvolle beschränkt werden, was die Dialoge effizienter und benutzerfreundlicher macht.

Der so entwickelte Erbrechts-Clickbot ermöglicht es Nutzenden, durch Antworten auf gezielte Fragen einen Stammbaum zu einer bestimmten Verwandtschaftskonstellation zu entwickeln, der kontinuierlich die gesetzliche Erbfolge und die Erbanteile berechnet. Die Nutzenden können direkt im Stammbaum Anpassungen vornehmen und nach Abschluss der Dateneingabe bzw. Anpassungen ein ausführliches Ergebnis einsehen, in dem die Erben und deren Anteile aufgeführt sind. Hier kann zudem geprüft werden, welche Anpassungen bzgl. dieses Ergebnisses möglich sind und welche rechtlichen Beschränkungen hierfür zu beachten sind (z.B. keine Unterschreitung des gesetzlichen Pflichtteils).

In einer späteren Phase des Projekts wurde nach Veröffentlichung von ChatGPT noch eine zweite Variante des Erbrechts-Bots entwickelt und öffentlich gestellt: Eine Variante mit den gleichen Inhalten und Funktionen wie der Erbrechts-Clickbot, aber mit einer auf einem Large Language Model (LLM) basierenden Chat-Eingabeform. Hier können die Nutzenden also in einem weiterhin geführten Dialog, nun aber per freier Texteingabe ihre Antworten auf die gestellten Fragen geben. Auch eine „Überbeantwortung“ der Fragen ist möglich, also mehr Angaben in einer Antwort als abgefragt wurden, in diesem Fall werden die weiteren relevanten Fakten ebenso erkannt und verarbeitet.

Mit künstlicher Intelligenz in den Kampf gegen Hatespeech

Als zweites größeres Rechtsthema haben wir die mögliche Strafbarkeit von Hassrede im Internet bzw. in sozialen Medien ausgewählt. Für unseren Hatespeech-Bot „IsThisHatespeech“ setzen wir auf eine Kombination von KI (in Form eines LLMs) und regelbasierter Logik, um Äußerungen für die Nutzenden hinsichtlich einer möglichen Strafbarkeit zu analysieren:

Handelt es sich in Deinem Fall um eine rechtsverletzende Beleidigung (§ 185 StGB), Üble Nachrede (§ 186 StGB) oder Verleumdung (§ 187 StGB)? Unser Bot verrät es Dir!

Zu Beginn des Projekts wurden die relevanten Delikte durch Analyse von Gesetzestexten, Fachliteratur und Rechtsprechung umfassend untersucht, um ein Prüfungsschema zu entwickeln und die kritischen Merkmale zu identifizieren, die über Strafbarkeit oder Straflosigkeit entscheiden. Die Komplexität der Delikte erforderte eine Formalisierung der juristischen Logik, wofür Flussdiagramme verwendet wurden, um die Struktur dieser Logik visuell darzustellen. Die Entwicklung eines einheitlichen Prüfungsschemas für die §§ 185, 186 und 187 StGB verdeutlichte jedoch die Divergenzen in juristischen Meinungen, die sich erheblich auf das Schema auswirken. Früh im Projekt mussten wir subjektive Entscheidungen treffen, die die Grundlage für spätere rechtliche Bewertungen bildeten.

In einem zweiten Schritt erleichterte uns diese schematische Erfassung die Übertragung der Logik in eine konzentrierte Kriterienliste. Sie enthält die entscheidenden Weggabelungen in der Prüfung der herausgearbeiteten Merkmale und deren Definitionen.

Es folgte in einem dritten Schritt der Bau der juristischen Logik in Prolog anhand der Kriterienliste. Bei der Skalierung zeigte sich, dass die Umsetzung der Straftatbestände §§ 185, 186 und 187 StGB in Prolog-Code gut funktioniert, für die Abbildung komplexerer Rechtsgebiete jedoch abstraktere Datenstrukturen nötig sind. Parallel wurden Überlegungen zur Bot-Entwicklung angestellt, insbesondere welche Informationen die Nutzenden benötigen. Es wurde deutlich, dass Texte und Definitionen klar und einfach kommuniziert werden müssen, um auch ohne juristisches Vorwissen verständlich zu sein, was die Balance zwischen juristischer Genauigkeit und Nutzerverständlichkeit herausfordert.

Während der Implementierungsphase führte die Veröffentlichung von ChatGPT im November 2022 zu einem neuen Entwicklungsansatz: die Nutzung eines LLM für die Subsumtion von Sachverhalten. Dabei standen zwei Methoden zur Verfügung: entweder die Nutzenden aktiv in die Textanalyse einzubeziehen oder die Aufgabe einem LLM zu überlassen. Letzterer Ansatz erwies sich als erfolgreich und zukunftsweisend. Die rechtliche Bewertung von Äußerungsdelikten, die stark vom Kontext abhängig ist, profitierte von detaillierterer Kontexteingabe durch die Nutzenden, was zu präziseren Ergebnissen führte. Dies wäre mit rein regelbasierter Logik und Analyse-Entscheidungen durch den Nutzenden so nicht möglich gewesen. Wichtig ist es den „sweet spot“ zu finden, der möglichst viele Vorteile der einzelnen Methoden und Technologien kombiniert und dabei deren Nachteile vermeidet.

Juristische Prüfungsschritte lassen sich für die KI gut abbilden, indem diese in kleinere Unteraufgaben zerlegt werden und somit der klassischen KI-Arbeitsweise entsprechen. Es zeigte sich zudem, dass die Kombination mit regelbasierter Formalisierung enorme Vorteile in der Konsistenz und Begründung der Antworten bringt. Bspw. ist ChatGPT auf die konkrete Aufgabenstellung hin überwiegend in der Lage zwischen Werturteilen und Tatsachenbehauptungen zu trennen. Die rechtliche Bewertung der einzelnen von ChatGPT identifizierten Kriterien und die daraus folgende Beurteilung der möglichen Strafbarkeit der Äußerung(en) haben wir dann wieder unserer verlässlichen formalisierten Logik überlassen.

Wir haben IsThisHatespeech anhand von rund 80 diversen Fallbeispielen getestet. Ausgewertet wurden Abweichungen zwischen unserer juristischen Einschätzung fallentscheidender Merkmale und der Analyse von ChatGPT. Durch chain-of-thought-prompting und weitere Verbesserungen an unseren prompts konnten wir die Fehlerquote auf letztlich 13,5 % senken.

Um ein umfassendes Verständnis von Hatespeech zu bieten, haben wir als nachgelagerte Ergänzung zu IsThisHatespeech noch den „JuriskopBot“ entwickelt, einen Clickbot, der auf Diskriminierungsmerkmale, wie z. B. Rassismus, prüft. Nach der Analyse durch den Bot leiten wir Betroffene gezielt an spezifische Hilfsangebote und allgemeine Hilfsstellen weiter, um sicherzustellen, dass sie nach der Auswertung und Feststellung einer wahrscheinlichen Strafbarkeit nicht allein gelassen werden.

Filesharing: vollautonome Rechtsberatung?

Bei unserem dritten größeren Rechtsthema ging es um die Beratung zu Urheberrechtsverletzungen in Form von Filesharing. Wir haben hierfür einen Prototyp namens „Mahno-Mat“ entwickelt, der die anwaltliche Erstberatung nach Erhalt eines Abmahnschreibens wegen angeblichen Filesharings vorbereitet – unter Auslotung des technischen Potenzials, diese irgendwann sogar ganz zu automatisieren. Hierfür werden zunächst die wichtigsten Informationen aus dem Abmahnschreiben erfasst und weitere Fallinformationen von den Nutzenden abgefragt. Am Ende erhalten sie eine passende rechtliche Einschätzung und eine entsprechende Empfehlung zum weiteren Vorgehen, die sie dann noch gemäß ihrer Persönlichkeit individualisieren können.

Der Entwicklungsprozess des Prototypen begann mit der systematischen Modellierung typischer Erstberatungsgespräche in der Kanzlei. Aus zahlreichen echten Fällen wurden die häufigsten Fragen, Ergebnisse und Entscheidungspfade extrahiert und in einem Flussdiagramm sowie in Tabellen abgebildet. Diese Analyse bildete die Grundlage für die Struktur des Mahno-Mat.

Zur automatisierten Erfassung von Abmahnungsinhalten haben wir ein OCR-basiertes Verfahren entwickelt und auf eine definierte Menge relevanter Informationen zugeschnitten. Diese beinhalteten u. a. die abmahnende Kanzlei, das Datum, Fristen, geforderte Beträge sowie die betroffenen Werke. Um die Genauigkeit des Verfahrens zu evaluieren, wurden rund 20 echte Abmahnschreiben pseudonymisiert und für Testläufe herangezogen.

Die Struktur der Nutzerführung bei der Sachverhaltsermittlung wurde so entworfen, dass Fragen effizient und adaptiv gestellt werden: allgemeine bzw. wichtige Fragen zuerst, spezifische nur bei Relevanz. Zudem werden den Nutzenden zunächst nur die Fragen zu den in der Beratungspraxis häufig beobachteten Umständen gestellt. Erst in einem separaten zweiten Schritt werden Sonderkonstellationen aufgelistet, etwa die Verjährung von Ansprüchen, die die rechtliche Bewertung verändert, aber in der Praxis sehr selten vorkommt. Diese Ausnahmefälle müssen nicht alle einzeln beantwortet werden, sondern werden lediglich aufgelistet und können überflogen und bei Zutreffen bejaht werden.

Ein zentrales weiteres Element der Entwicklung war die Übersetzung juristischer Erfahrungswerte in ein formalisiertes Scoring-Verfahren. Dafür wurden aus Beratungsgesprächen typische Entscheidungsmerkmale abgeleitet und mit Gewichtungen versehen. Diese wurden in Tabellen strukturiert und dem System als Grundlage für die Handlungsempfehlung zur Verfügung gestellt. Im Prototypen addiert das Scoring-System dann die jeweiligen Zahlenwerte für die einzelnen Falldaten und Nutzerantworten. Es errechnet daraus u.a. einen Zahlenwert für das Risiko, in diesem Fall verklagt zu werden, sowie einen Zahlenwert für das Risiko, im Falle einer Klage vor Gericht zu verlieren. Ebenfalls vordefinierte Regeln ordnen nun den ermittelten Risiko-Werten sowie den Falldaten und Antworten eine entsprechende, für diese Konstellation am besten passende Handlungsmöglichkeit zu – diese wird für die Nutzenden in der abschließenden Auswertung mit dem “Scoring”-Stern markiert. So erhalten diese einen Anhaltspunkt, ob sie die in solchen Fällen meist geforderte Unterlassungserklärung abgeben sollten und ob sie die ebenfalls regelmäßig geforderte Zahlung verweigern könnten.

Im Laufe der Entwicklung und ersten Tests wurde deutlich, dass Handlungsentscheidungen oft stark von der Persönlichkeit der Ratsuchenden abhängen. Daher haben wir in einem weiteren Schritt ein Modul ergänzt, das individuelle Präferenzen – etwa Risikobereitschaft oder Nervenkostüm – über gezielte Fragen erfasst. So können Nutzende die vom Scoring-System errechnete Handlungsempfehlung anhand ihrer konkreten Persönlichkeit und individuellen strategischen Überlegungen überprüfen und ggf. anpassen lassen.

Zum Abschluss wurde im Mahno-Mat noch die Möglichkeit integriert, sich eine Fallzusammenfassung zu generieren, mit allen ermittelten Daten und Informationen zum Fall und zur Abmahnung, allen gegebenen Antworten und den erzeugten Empfehlungen sowie Handlungsalternativen. Die Fallzusammenfassung wurde so gestaltet, dass sie in einer anwaltlichen Erstberatung genutzt werden kann, um das Gespräch zu fokussieren und zu verkürzen.

Einsatz von Large Language Models im juristischen Bereich

Direkt mit Veröffentlichung von ChatGPT im November 2022 stellte sich uns die Frage, wie wir derartige große Sprachmodelle in unserem Forschungsprojekt einsetzen könnten. Daher erforschten wir im Rahmen der Entwicklung der einzelnen konkreten Prototypen, wie oben beschrieben, an welchen Stellen LLMs wie ChatGPT gewinnbringend eingebunden werden können. Außerdem haben wir versucht, mittels Prompt Engineering, Embedding und Finetuning die Ergebnisse der LLMs zu verbessern.

Darüber hinaus wollten wir wissen, in welchem Umfang große Sprachmodelle generell dazu in der Lage sind, typische juristische Tätigkeiten zu übernehmen. Denn die Kernfähigkeit von LLMs besteht ja darin, Texte zu analysieren und zu verfassen. Das macht sie besonders interessant für Juristen, deren Leistung ja oftmals gerade darin besteht, Sachverhalte zu begreifen und nach rechtlicher Prüfung Einschätzungen oder Dokumente in Textform dazu zu erzeugen.

Getestet haben wir insbesondere die großen proprietären Modelle von OpenAI (ChatGPT) und Google (Gemini). Da diese aber aus rechtlicher Sicht Probleme in Bezug auf berufsrechtliche Pflichten (v. a. den Schutz des Mandatsgeheimnisses) und auf den Schutz personenbezogener Daten mit sich bringen, haben wir auch immer wieder frei verfügbare Open-Source-Modelle auf den Prüfstand gestellt, insbesondere von Meta (Llama) und Mistral (Mixtral).

Um besser beurteilen zu können, wie geeignet diese Modelle gerade für juristische Tätigkeiten sind, haben wir drei verschiedene Testszenarien vorbereitet: Die Beantwortung juristischer Fragestellungen, die Extraktion von Informationen aus juristischen Dokumenten und die rechtliche Bewertung solcher Dokumente. Für die Beantwortung von Fragen haben wir insgesamt 110 Multiple-Choice-Fragen aus verschiedenen rechtlichen Bereichen zusammengestellt, für die Informationsextraktion und Bewertung haben wir insgesamt je 25 Widerrufsbelehrungen, Geheimhaltungsvereinbarungen und Lizenzverträge ausgewählt und vorbereitet, zusätzlich noch 25 Klauseln mit Haftungsausschlüssen zur Prüfung der rechtlichen Wirksamkeit.

Mit diesen Aufgabenstellungen bzw. Teilmengen daraus haben wir die getesteten Sprachmodelle konfrontiert und konnten so deren Performance speziell bei juristischen Tätigkeiten miteinander vergleichen.

Was wir aus der beschriebenen Forschungsarbeit gelernt haben, lesen Sie in Teil 2 unseres Wrap-ups …

Wrap-up Teil 2: Unsere Forschungsergebnisse

Das haben wir aus dem Forschungsprojekt gelernt

In diesem Beitrag wollen wir nach Abschluss unseres Forschungsprojekts „Juriskop“ einen Überblick darüber geben, was unsere wichtigsten Forschungsergebnisse und Erkenntnisse aus dem Projekt sind.

Was wir genau erforscht haben, welche Prototypen wir entwickelt und welche LLMs wir getestet haben und wie wir dabei jeweils vorgegangen sind, haben wir in Teil 1 unseres Wrap-ups zusammengefasst. Unsere Prototypen selbst können hier angesehen und getestet werden.

Überblick über unsere 10 wichtigsten Learnings

- Unsere Annahme hat sich bestätigt: Juristisches Wissen lässt sich sehr gut automatisieren, auch bei komplexen Themen

- Regel- bzw. wissensbasierte Systeme liefern verlässlichere und nachvollziehbarere Ergebnisse als reine LLMs, erfordern aber einen hohen Aufwand für die Formalisierung

- Visualisierungen (z. B.  Flussdiagramme) sind beim Strukturieren von Wissen und Logik äußerst hilfreich

- Prädikatenlogik eignet sich sehr gut für die Formalisierung juristischen Wissens, manchmal genügt aber auch eine Tabelle oder ein Diagramm

- Juristische Bots müssen eine Balance finden zwischen juristischer Vollständigkeit und Korrektheit, Laienverständlichkeit, Transparenz und Nutzerfreundlichkeit

- Es müssen nicht immer Chatbots oder LLMs sein, in bestimmten Fällen funktionieren einfache Clickbots oder „Smart FAQ“ sogar besser

- Besonders vielversprechend sind hybride Ansätze, z.B. LLMs zur Sachverhaltsanalyse kombiniert mit wissensbasierten Systemen zur rechtlichen Bewertung

- LLMs eignen sich gut für juristische Anwendungen – in unseren Tests schnitt ChatGPT am besten ab, aber auch Open-Source-Modelle wie Llama oder DeepSeek lieferten teils sogar vergleichbare Ergebnisse

- Der Output von LLMs lässt sich durch Retrieval-Augmented Generation (RAG) und gutes Prompting verbessern

- Das Nutzerfeedback zu unseren Bot-Prototypen war durchweg positiv und brachte wertvolle Impulse – etwa die Idee, einen geführten Dialog mit einem Chat für freitextliche Rückfragen oder Eingaben zu kombinieren, um die Sachverhaltsermittlung zu verbessern

Unsere Learnings zur Formalisierung von juristischem Wissen

Im Rahmen unseres Forschungsprojekts haben wir untersucht, inwieweit juristische Fragestellungen automatisiert bearbeitet werden können. Dabei zeigt sich: In klar strukturierten Rechtsgebieten wie z.B. der gesetzlichen Erbfolge ist eine Automatisierung bereits heute sehr gut möglich. Auch komplexere Bereiche, in denen unbestimmte Rechtsbegriffe, Abwägungen oder Bewertungen aus einer Gesamtschau aller Einzelfallumstände eine Rolle spielen – etwa bei der Strafbarkeit einer Beleidigung – lassen sich ansatzweise automatisieren, indem Kriterien, Beispiele und Abwägungsschritte ebenfalls formalisiert werden. Generell hilft die Aufteilung einer juristischen Prüfung in einzelne Schritte wie z.B. Sachverhalt, Definition und Subsumtion – ein Vorgehen, das sich insbesondere auch bei der Nutzung von LLMs als hilfreich erweist.

Zur Abbildung juristischer Wissensstrukturen eignet sich die Prädikatenlogik sehr gut, manchmal genügt jedoch bereits eine strukturierte Darstellung in Tabellen oder Diagrammen, um Wissen systematisch aufzubereiten und in Systeme einzubinden. Lösungen gibt es dabei auch für den Umgang mit Unsicherheiten, sei es auf Nutzerseite oder aus rechtlicher Sicht.

Visualisierungen haben uns enorm geholfen bei der Formalisierung (z.B. die Darstellung einer Prüfungsreihenfolge in Flussdiagrammen). Wir haben so das zusammengetragene juristische Wissen zunächst strukturiert, um es dann in Prädikatenlogik oder einzelne Konstellationen und Bedingungen-Ergebnisse-Beziehungen für eine Tabelle übersetzen zu können.

Allerdings bleibt die Formalisierung juristischen Wissens bislang mit viel Handarbeit und damit mit hohem Aufwand verbunden. Eine automatisierte Auswertung von Gesetzen, Urteilen und Literatur ist derzeit kaum möglich, da es an standardisierten Strukturen fehlt. Hier könnten künftig leistungsfähigere LLMs Abhilfe schaffen – vorausgesetzt, ihre Ergebnisse werden verlässlicher und nachvollziehbarer.

Unsere Learnings zur Implementierung von juristischem Wissen in Bots

Insgesamt hat das Projekt gezeigt, dass in verschiedensten Bereichen sehr viel Wissen in Chat- oder Clickbots automatisiert nutzbar gemacht werden kann. Und das auch bei komplexen Fragestellungen (siehe Hatespeech-Thema) oder bei einer umfassenden Beratung inkl. nicht rein juristischer Aspekte wie strategischen Erwägungen, Risikoabwägungen und individuellen Vorlieben (siehe Filesharing-Thema).

Ein entscheidender Unterschied zwischen automatisierter Beratung durch solche Bots und der klassischen anwaltlichen Beratung „face-to-face“ wurde uns in den Anfängen des Erbrechts-Bots schmerzlich bewusst: Bei einer Bot-Beratung kann der Nutzende frei entscheiden, ob und welche Hinweistexte er liest – im Gegensatz zur Beratung in Person, bei der er zumindest in den Grenzen der Höflichkeit gezwungen ist, sich die anwaltlichen Hinweise und Belehrungen anzuhören. So stellte sich für uns überraschend deutlich heraus, dass Nutzende bei einem Bot nur sehr sehr wenige Hinweise zu lesen bereit sind. Ein solches System sollte also von der Textfülle her so schlank wie möglich daherkommen, bestenfalls selbsterklärend zu bedienen sein, wichtige Hinweise müssen auf das absolut Nötigste reduziert werden und Hilfestellungen am besten lediglich angeboten werden (etwa als Mouseover- oder klickbare Info-Texte).

Dabei stehen wir Juristen immer wieder vor Zielkonflikten, u.a. zwischen juristischer Vollständigkeit/Korrektheit und Laienverständlichkeit sowie zwischen Transparenz und lesbarem Umfang der Informationen.

Ein weiterer zentraler Aspekt im Projekt war die Wahl der geeigneten Bot-Form. Unsere Erfahrungen im Projekt haben uns gezeigt, dass Chatbots oder Systeme mit LLM-Einbindung gar nicht immer das Nonplusultra sind. Aus unserer Sicht entfalten Chatbots ihre Stärken bei komplexen, dialogischen Sachverhalten – etwa wenn viele Varianten und Antwortmöglichkeiten bestehen, wenn unstrukturierter Input verarbeitet oder juristisch anspruchsvolle Kriterien abgefragt bzw. oftmals Nachfragen gestellt werden müssen. Clickbots hingegen eignen sich sehr gut bei klar umrissenen, von Nutzenden einfach zu beantwortenden Fragestellungen, bei geringer Komplexität und wenn eine enge Userführung gefragt ist. Die von uns im Projekt entwickelte Idee von „Smart FAQ“ kommt in Frage bei einfachen, klaren Sachverhalten, die aber eine große Menge von Ergebnissen bzw. Fragestellungen umfassen, bei denen also Clickbots grundsätzlich geeignet wären, aber aufgrund der Menge unübersichtlich und ineffizient werden würden.

Dabei zeigt sich: Es gibt nicht DIE eine richtige Technik oder Methode. Je nach Anwendungsfall ist oftmals auch eine Kombination verschiedener Ansätze und Techniken sinnvoll – etwa die Nutzung eines LLMs zur Sachverhaltsermittlung im Dialog, gefolgt von einer wissensbasierten Bewertung anhand festgelegter juristischer Logik, so geschehen etwa bei unseren Prototypen zu Erbrecht und Hatespeech.

Wer es schafft, den „sweet spot“ zwischen den o.g. Ziele sowie den unterschiedlichen Methoden und Techniken zu finden – also ihre jeweiligen Stärken zu kombinieren und die Schwächen zu minimieren – kann in kurzer Zeit beeindruckende, effektive und zugleich rechtlich belastbare Anwendungen entwickeln.

Unsere Learnings zum Einsatz von LLMs im juristischen Bereich

Unsere umfangreichen Tests haben uns gezeigt, dass die „großen“ Large Language Models (70 Milliarden Parameter oder mehr) sehr gut in der Lage sind, deutsche Texte zu schreiben und zu verstehen. Auch das Erfassen von Rechtsnormen und Gesetzestexten gelingt meist, wie auch das Antworten auf Fragen hierzu. So konnte ChatGPT 4o aus knapp 88 % unserer Test-Dokumente den richtigen Inhalt extrahieren und diesen rechtlich einordnen, auch das Open-Source-Modell Llama 3.3 70B kam auf einen ähnlichen Wert. Nicht so leicht taten sich die Sprachmodelle mit Multiple-Choice-Fragen zu Rechtsthemen, von denen selbst das beste getestete LLM nicht mehr als 75 % richtig beantworten konnte. Vor allem Fragen zu konkreten rechtlichen Begrifflichkeiten und nach Handlungsempfehlungen gelangen nicht immer.

Insgesamt lagen bei unseren Tests ChatGPT und Gemini vorne, es gab aber auch Open Source Modelle mit sehr brauchbaren Ergebnissen, allen voran DeepSeek, das sogar das Niveau von ChatGPT erreichen konnte.

Hier ein Auszug aus unserer Auswertung:

„Bewertung gesamt“ in dieser Auswertung quantifiziert unsere subjektive Einschätzung, in welchem Umfang ein LLM die gestellten Aufgaben vollständig und korrekt bearbeitet hat, insbesondere um die LLMs untereinander insgesamt vergleichen zu können.

Verbesserungen konnten wir durch Finetuning erzielen: Beispielhaft haben wir einen Datensatz mit 25 Haftungsausschlüssen aus AGB bzw. Verträgen erstellt und in diesem angegeben, warum die einzelnen Klauseln wirksam sind oder nicht. Daraus sollten die LLMs lernen und ihr neu gewonnenes Wissen auf andere Klauseln anwenden. Das klappte zumindest bei kleineren Modellen selbst mit diesem kleinen Datensatz erstaunlich gut: Llama 3.1 8B erkannte vor dem Finetuning nur etwa die Hälfte der Klauseln richtig und konnte seine Fehlerquote durch das Finetuning immerhin um 16 % reduzieren. Der Output umfangreich vortrainierter Modelle wie ChatGPT 4o blieb durch unser Finetuning weitgehend unverändert, war aber auch vorher schon sehr gut.

Zudem lässt sich der Output von LLMs mittels RAG (Retrieval-Augmented Generation) verbessern, konkret z.B. durch die Einbindung von Beispiel-Dokumenten oder Dateien mit einschlägigem Fachwissen.

Und schließlich lässt sich der Output meist durch Anpassungen am prompt verbessern. Wir haben in unseren Tests etwa mit folgenden Maßnahmen positive Erfahrungen gemacht:

- Zuweisung einer konkreten Rolle ans LLM (z.B. Anwalt oder Richter)

- Vorgabe einer Zielgruppe (z.B. andere Juristen oder Privatleute)

- Einfügen präziser rechtlicher Vorgaben und Definitionen

- Anfügen von Beispielen (z.B. bzgl. Inhalt und Tonfall)

- Vorgeben eines strukturierten Output-Formats (z.B. Tabelle oder json-Datei), was die Genauigkeit verbessert, weil das LLM eher die einzelnen Schritte auch wirklich alle abarbeitet, außerdem kann ein solcher Output besser weiterverarbeitet werden

- Aufteilung einer Aufgabe in Unteraufgaben bzw. Denkschritte, z.B. aufeinanderfolgende prompts für die Zusammenfassung eines Dokuments und die rechtliche Bewertung, chain-of-thought-prompting

Beim prompting sollte man sich allerdings auf das Nötige beschränken, da in unseren Tests zu umfangreiche prompts die Ergebnisse regelmäßig verschlechtert haben.

Unsere Learnings aus den Evaluierungen unserer Bot-Prototypen

Zu guter Letzt möchten wir – zur Unterfütterung der bisherigen, eher allgemein gehaltenen Erkenntnisse – unsere Learnings aus den Evaluierungen unserer konkreten Prototypen zu den Themen Erbrecht, Hatespeech und Filesharing darstellen:

Zur finalen Evaluation wurden externe Personen über verschiedene Kanäle (persönliches Umfeld des Forschungsteams, Social Media, Flyer in Würzburger Fakultäten und Mensen) auf die 4 von uns entwickelten Prototypen aufmerksam gemacht und gebeten, diese zu testen und zu evaluieren. Um den Einstieg zu erleichtern, standen für die Erbrechts- und den Filesharing-Prototypen jeweils  Fallbeispiel-Generatoren bereit, mit denen sich fiktive Szenarien zur Nutzung erzeugen ließen. Im Ergebnis konnten bis Ende des Projektzeitraums insgesamt mind. 993 Testnutzungen und 139 Evaluierungen verzeichnet werden.

Das Feedback zu den abgefragten Kriterien war insgesamt sehr positiv, einzig im Bereich zusätzlicher Hilfestellungen zeigte sich noch Verbesserungsbedarf, außerdem wurde die Frage, ob der jeweilige Bot spezialisierte Anwält*innen ersetzen kann, uneinheitlich beantwortet. Zu allen Prototypen wurde (zum Teil sehr deutlich) überwiegend bejaht, dass der Bot weiterempfehlt werden würde.

Hier ein Überblick über unsere Auswertung der abgefragten Kriterien:

Die positive Gesamtbewertung spiegelt sich auch im Durchschnitt der abgefragten Gesamtnoten wider:

Bei der Evaluation konnte schließlich noch individuelles Feedback in Freitextfeldern gegeben werden (Positives/Negatives), woraus weitere Erkenntnisse gewonnen wurden.

Beim Erbrechts-Bot wurde die Clickbot-Variante wegen Bedienbarkeit und Effizienz bevorzugt, während die LLM-Variante u.a. für die Möglichkeit von Rückfragen und komplexen Eingaben gelobt wurde. Etwa doppelt so viele Nutzende bevorzugten unter dem Strich den Clickbot, einige aber eben auch die LLM-Variante. Eine sehr wertvolle, mehrfach geäußerte Anregung war, beide Ansätze zu kombinieren. Wir halten das für sehr vielversprechend, etwa in einer Ausgestaltung einer Sachverhaltsermittlung als geführter Dialog mit Elementen zum Klicken, parallel dazu aber auch ein Chat, um Rückfragen zu stellen oder komplexere Eingaben zu machen.

Zum Hatespeech-Bot wurde ebenfalls vieles gelobt. Als konstruktive Kritik wurde u.a. angemerkt, dass laienverständlichere Formulierungen, mehr Hilfestellungen und individuellere Erklärungen wünschenswert seien. Probleme wurden außerdem bei speziellen Kontexten, etwa Ironie oder Sarkasmus, erkannt, was die uns bereits bekannten Grenzen der Sachverhaltsanalyse durch ein LLM bestätigte.

Beim Filesharing-Bot wurde – neben vielen positiven und bestätigenden Feedbacks – ebenfalls der Wunsch nach mehr Hilfestellungen und Informationen sowie mehr Transparenz geäußert, insbesondere hinsichtlich der Informationsextraktion aus der Abmahnung sowie mit Blick auf die rechtliche Auswertung und Empfehlung.

Fazit/Ausblick

Unser Forschungsprojekt „Juriskop“ ist erfolgreich abgeschlossen. Wir nehmen unzählige wertvolle Erkenntnisse und Learnings mit und werden darauf aufbauend hoffentlich dazu beitragen können, die rechtliche Beratung hier und da aus den verstaubten Besprechungs- und Anwaltszimmern in die moderne Welt der Bots und LLMs (und was da noch so auf uns zukommen mag) zu führen.

Man darf gespannt sein …

Bild von Alexandra_Koch auf Pixabay

Warum ChatGPT keine Konkurrenz für uns ist

Schüler*innen lassen ihre Hausaufgaben von ChatGPT schreiben, Anwält*innen ihre Schriftsätze oder angeblich sogar Verfassungsbeschwerden. Das System von OpenAI ging letztes Jahr viral und verbreitet und verbessert sich seitdem rasant, zuletzt mit dem Versionssprung des dahinterliegenden Sprachverarbeitungsmodells auf GPT‑4.

Man könnte sich also durchaus fragen, warum wir überhaupt noch an unseren Prototypen für Chatbots zur juristischen Einzelfallberatung weiterentwickeln – wenn doch nach Meinung Einiger schon jetzt ChatGPT auch juristische Beratungstätigkeiten übernehmen kann oder das nach Ansicht Weiterer jedenfalls nur eine Frage der Zeit zu sein scheint.

Was kann ChatGPT?

Zugegeben: ChatGPT hat völlig zu Recht solch hohe Wellen geschlagen. Es ist schlicht beeindruckend, mit welcher sprachlichen Präzision und welchem Ausdrucksvermögen das System Texte produziert und mit den Nutzenden kommuniziert.

Aber: ChatGPT basiert nun einmal auf einem Sprachverarbeitungsmodell und ist darauf ausgerichtet, Texte zu produzieren. Hervorragend und kompetent klingende, geschliffene Formulierungen – aber eben nicht zwingend gehaltvolle Antworten mit echtem Wissen und belastbaren Fakten. Wenn Nutzende also Rechtsfragen an ChatGPT stellen, bekommen sie ziemlich sicher eine sprachlich perfekte und strukturierte Rückmeldung. Und zudem eine Antwort, die sogar inhaltlich richtig und wertvoll sein kann – aber nur wenn man die richtige Abfrage (prompt) eingegeben hat oder man einfach Glück hat. Oft genug enthalten generierte Texte aber auch schlicht falsche oder unvollständige Inhalte.

Für einige denkbare Anwendungsfälle oder auch für die Unterstützung von Expert*innen, die den Output selbst fachlich beurteilen und sinnvoll weiterverarbeiten können, mag das ausreichen.

Wir entwickeln wissensbasierte Expertensysteme

Im Forschungsprojekt verfolgen wir jedoch einen anderen Anspruch: Wir möchten Chatbot-Prototypen entwickeln, von denen die Nutzenden Antworten erhalten, die insgesamt und in Details korrekt und möglichst vollständig sind und in denen Besonderheiten des individuellen Falls berücksichtigt werden. Und das auch, wenn die juristischen Fragestellungen komplex sind. Dass ein solcher Chatbot auch gewisse Sprach- und Kommunikationsfähigkeiten haben muss, ist selbstverständlich. Ebenso, dass wir dafür auf Sprachmodelle oder andere selbstlernende Systeme zurückgreifen.

Für die inhaltlichen Aspekte setzen wir aber auf wissens- bzw. regelbasierte Komponenten. Unsere Prototypen sollen sich eben nicht aus einer großen Datenmenge an Fallbeispielen, Gerichtsurteilen und gesetzlichen Normen selbst das Recht frei ableiten – wir möchten ihnen wenigstens das für verlässliche Antworten nötige abstrakte Grundwissen mitgeben. Wer Jura studiert, bekommt ja schließlich auch nicht einfach eine Menge an praktischen Fällen, gerichtlichen Entscheidungen und Gesetzestexten vorgelegt, muss sich dann relevante Muster und Entscheidungskriterien etc. selbst erschließen. Vielmehr liegt ein großer Schwerpunkt der juristischen Lehre darauf, Studierenden ein abstraktes juristisches Grundverständnis und ‑wissen zu vermitteln, das es ihnen ermöglicht, auch vollkommen unbekannte Fälle ohne eigenes Spezialwissen zielführend lösen zu können.

Bei unseren Forschungen haben wir bereits ein wissensbasiertes System entwickelt, mit dem wir juristisches Wissen und Logik so modellieren können, dass es per Schnittstelle für ein Chatbot-System als Wissensbasis nutzbar ist. Wir sind davon überzeugt, dass wir nur so hinreichend präzise und belastbare Ergebnisse erzielen können.

Was auf der Hand liegt: Die nötigen Regeln bzw. das Wissen zunächst zu erarbeiten und dann in ein Expertensystem zu implementieren bedeutet natürlich einen ganz erheblichen Aufwand. Auch das haben wir in unseren bisherigen Forschungen bereits festgestellt und sind uns bewusst, dass wir weiter daran arbeiten müssen, den Aufwand für die Wissenserarbeitung und ‑implementierung zu reduzieren. Das gilt auch für eine spätere Pflege des Wissens, um es aktuell und korrekt zu halten. Die Vermutung liegt nahe, dass rein selbstlernende Systeme einen gewissen Geschwindigkeits- und Kostenvorteil gegenüber wissensbasierten Systemen haben könnten.

ChatGPT ist keine Konkurrenz?

Wenn wir nun behaupten, ChatGPT sei keine Konkurrenz für uns, soll das keineswegs Ausdruck einer inhaltlichen oder qualitativen Überheblichkeit sein. GPT und andere Sprachverarbeitungsmodelle verfolgen schlicht einen anderen Ansatz und sind am Ende des Tages eben keine Expertensysteme, von denen wir Fachwissen erwarten dürfen. Zumindest aktuell. Denn angesichts der rasanten Entwicklung ist natürlich keinesfalls auszuschließen, dass ChatGPT & Co. irgendwann so gut trainiert sind, dass wir auch (zu einem gewissen Prozentsatz) verlässliche Antworten auf komplexe Fachfragen erhalten.

Unabhängig davon bleiben wir dabei, dass für die Beratung zu komplexen juristischen Fragestellungen wissensbasierte Methoden mit Blick auf die Qualität des Ergebnisses vorzugswürdig gegenüber rein selbstlernenden Ansätzen sind.

Wir sehen ChatGPT & Co. als Chance!

Was noch vorzugswürdiger ist: Das Beste aus beiden Ansätzen zusammenzubringen. Wir sind zuversichtlich, dass wir in den nächsten Wochen und Monaten einen Weg finden werden, wie wir ChatGPT & Co. bei der Entwicklung unserer Chatbot-Prototypen möglichst effektiv und effizient einsetzen können. Und das eben nicht nur für die Sprachfähigkeiten unserer Chatbots, sondern vor allem auch bei der Erarbeitung und Implementierung des aus unserer Sicht nötigen Regelwissens. Bei der Analyse von Fachmaterialien, dem Zusammentragen relevanter Kriterien und logischer Zusammenhänge etc. werden Vorschläge aus ChatGPT oder anderen Systemen uns mutmaßlich Zeit einsparen helfen. Die so erarbeiteten Regeln überprüfen wir dann zur Qualitätssicherung durch Tests mit Lebenssachverhalten und Fällen und im weiteren Verlauf mit breit angelegten Evaluationen.

Damit werden wir ein wissensbasiertes System mit einer hohen fachlichen Qualität und Verlässlichkeit erschaffen, das aber durch Einsatz von KI-Systemen das bisherige Dilemma der wissensbasierten Ansätze löst, nämlich den Entwicklungs- und Pflegeaufwand auf ein konkurrenzfähiges Maß zu reduzieren.

Es ist uns bewusst, dass das ein wenig paradox klingen mag: Wir sehen ChatGPT & Co. also nicht als Konkurrenz zu unseren Chatbot-Prototypen, sondern als unsere Chance, ChatGPT & Co. selbst in Bezug auf juristische Fragestellungen Konkurrenz zu machen.

Workshop – Zeit für ein Zwischenfazit

Willkommen beim Juriskop Workshop, wo Tradition auf Innovation trifft und die Möglichkeiten der Rechtspraxis weitergedacht werden. Fragen wir ChatGPT im Rahmen der Erstellung dieses Beitrags, so sagt das LLM hierzu: “Unser Workshop war mehr als nur eine Zusammenkunft von Fachleuten; es war ein kreativer Schmelztiegel von Ideen, ein Ort, an dem wir das Unbekannte erkundet und neue Perspektiven gewonnen haben.” – dem haben wir nur wenig hinzuzufügen.

Endlich war es wieder so weit. Unser gesamtes Team hat sich kürzlich zu einem Workshop getroffen, welcher alle Themen rund um das Forschungsprojekt Juriskop angeschnitten hat. Aber was genau ist damit gemeint? In dem Workshop konnten wir vertieft in den Austausch gehen; angefangen von den neuesten Updates aus den einzelnen Untergruppen zu bisherigen Forschungsergebnissen über die gemeinsame Freude über erreichte Meilensteine bis hin zu einem Ausblick auf unsere Visionen für das Forschungsprojekt in der verbleibenden Zeit. Natürlich wurde der Tag zusätzlich mit leckerem Essen gekürt. Es war ein bunter Mix aus allem! Im Fokus des Workshops standen dabei zwei besondere Themen: unsere “Best Practices” der Formalisierung juristischen Wissens sowie die Besprechung unserer Vorsätze für das nahende Ende unseres Forschungsprojekts.

Unsere “Best Practices” der Formalisierung juristischen Wissens

Der erste Schwerpunkt lag auf der Formalisierung juristischen Wissens. Unser Forschungsteam teilte sich in zwei gleich große Gruppen auf: Die erste Gruppe beschäftigte sich mit den gewonnenen Erkenntnissen hinsichtlich der Vorbereitung der Implementierung, einschließlich der logischen Erfassung juristischen Wissens, während die zweite Gruppe die tatsächliche Umsetzung, sprich das technische Erstellen der juristischen Logik, behandelte. Durch Grafiken wurde der Fortschritt jeder Gruppe dokumentiert, um am Ende die Ergebnisse zu vergleichen.

Unsere Learnings

- Für die Formalisierung juristischen Wissens ist es entscheidend, beide Schritte – Formalisierung und Implementierung – gleichzeitig voranzutreiben, um keinen davon zu vernachlässigen.

- Prototypen hingegen erfordern eine strikte Reihenfolge, wobei eine parallele Entwicklung nicht empfehlenswert ist.

Wie Sie sehen, gilt auch hier die juristische Redewendung: es kommt darauf an!

Unsere Vision

Mit dem immer näherkommenden Ende unseres Forschungszeitraums war es unabdingbar über unsere Ziele und Pläne zu reden. Allem voran möchten wir unsere Prototypen über die Ziellinie tragen und stetig voranbringen, wie wir es bereits kürzlich mit unserem Erbrechts-Bot getan haben, über den schon heiß diskutiert wurde.

Unser Forschungsprojekt hat noch viel zu bieten, und wir laden Sie dazu ein, dranzubleiben.