Die Gefahren blinden Vertrauens in Künstliche Intelligenz im Rechtswesen

Die Gefahren des blinden Vertrauens in künstliche Intelligenz: Lehren aus einer Geldstrafe von 60.000 USD

Der Rechtsberuf befindet sich derzeit in einer Phase rascher technologischer Veränderungen, da generative künstliche Intelligenz (KI)-Werkzeuge wie ChatGPT als Unterstützung für juristische Recherchen und Schreibarbeiten zunehmend eingesetzt werden. Die Nutzung von KI in der juristischen Recherche und im Schreiben muss daher stets von strenger menschlicher Aufsicht begleitet sein. Andernfalls können kostspielige Geldstrafen, Sanktionen und öffentliche Peinlichkeiten die Folge sein.

Ein bemerkenswerter Fall ist die verhängte Geldstrafe von 60.000 USD gegen eine prominente Anwaltskanzlei und einen ihrer Anwälte, weil sie einen Schriftsatz eingereicht hatten, der KI-generierte, falsche juristische Quellen enthielt, um die Position ihres Mandanten zu unterstützen. Diese juristische Recherche resultierte aus sogenannten „KI-Halluzinationen“, bei denen generative KI plausible Ergebnisse produziert, die jedoch fiktive juristische Materialien wie Zitationen, Fallnamen und Zitate enthalten, die in Wirklichkeit nicht existieren.

Die rechtlichen Konsequenzen

Im Dezember 2025 verhängte ein Gericht in Illinois Sanktionen von fast 50.000 USD gegen die Anwaltskanzlei und 10.000 USD gegen den Anwalt in Verbindung mit der Einreichung eines nachträglichen Antrags, der KI-Halluzinationen beinhaltete. Die gegnerische Partei informierte das Gericht darüber, dass mehrere Zitationen, auf die sich die Kanzlei stützte, auf nicht existierende Fälle des Obersten Gerichtshofs von Illinois verwiesen, welche fälschlicherweise von ChatGPT generiert wurden. Dies führte dazu, dass die gegnerische Partei einen umfangreichen Antrag auf Sanktionen einreichte.

In einem scharfen Urteil charakterisierte das Gericht das Fehlverhalten der Kanzlei und des Anwalts als ein „ernsthaftes Versagen“ und betonte die Pflicht eines Anwalts, dem Gericht wahrheitsgemäße und genaue juristische Autoritäten vorzulegen. Das Gericht unterstrich, dass es nicht um den Missbrauch künstlicher Intelligenz zur Durchführung unzuverlässiger juristischer Recherchen und Entwürfe gehe, sondern um die unverzeihliche Einreichung falscher Autoritäten und faktischer Argumente.

Berufliche Pflichten und Standards

Die Regel 1.1 der Illinois Model Rules of Professional Conduct (MRPC) bestätigt, dass Anwälte „kompetente Vertretung“ bieten müssen, was das notwendige juristische Wissen, die Fähigkeiten, die Gründlichkeit und die Vorbereitung umfasst. Die Kommentierung zu MRPC 1.1 verlangt von Anwälten, sich über Änderungen im Recht und in der juristischen Praxis, einschließlich der Vorteile und Risiken relevanter Technologien, auf dem Laufenden zu halten.

Die Kanzlei erkannte diese Situation als ein „ernsthaftes Versagen in der Professionalität“ an. Darüber hinaus wurden neue Maßnahmen zur Schulung der Anwälte hinsichtlich der KI-Richtlinien der Kanzlei implementiert und vorbeugende Maßnahmen etabliert.

Schlüsselmaßnahmen zur Risikominderung

Der verantwortungsvolle Einsatz von KI muss folgende Elemente umfassen:

  1. Pflicht zur menschlichen Überprüfung: Alle von der KI generierten oder vorgeschlagenen Zitationen und juristischen Autoritäten müssen obligatorisch von Menschen überprüft werden.
  2. Klare interne Richtlinien: Jede Kanzlei muss klare Richtlinien für die akzeptable Nutzung von KI festlegen, einschließlich der Identifizierung von Aufgaben, die unter der direkten Kontrolle eines Anwalts bleiben müssen.
  3. Fortlaufende Schulung: Kontinuierliche Weiterbildung und Schulung bezüglich des Einsatzes von KI im sich rasch verändernden Rechtsumfeld.
  4. Dokumentation der Überprüfungsschritte: Zur Demonstration der Einhaltung ethischer Verpflichtungen.

Schlussfolgerung

Rechtsanwälte müssen hohe Standards für berufliche Integrität und Verantwortung aufrechterhalten. Die Einreichung eines juristischen Schriftsatzes mit falschen Fallzitaten verletzt die langjährigen beruflichen Pflichten eines Anwalts hinsichtlich Genauigkeit, Offenheit und Kompetenz. Die Sanktion gegen die Kanzlei und den Anwalt in diesem Fall signalisiert, dass Gerichte bei Fallzitaten auf mögliche KI-Halluzinationen achten und eine Strafe für die Einreichung falscher juristischer Autorität kostspielig sein kann. Während KI ein nützliches Werkzeug ist und eine wertvolle Rolle bei juristischen Recherchen und Schreibarbeiten spielen kann, entbindet sie einen Anwalt nicht von seinen ethischen und treuhänderischen Pflichten.

More Insights

Verantwortungsvolle KI: Ein unverzichtbares Gebot für Unternehmen

Unternehmen sind sich der Notwendigkeit von verantwortungsvollem KI-Betrieb bewusst, behandeln ihn jedoch oft als nachträglichen Gedanken oder separates Projekt. Verantwortliche KI ist eine vordere...

Neues KI-Governance-Modell gegen Schatten-KI

Künstliche Intelligenz (KI) verbreitet sich schnell in den Arbeitsplatz und verändert, wie alltägliche Aufgaben erledigt werden. Unternehmen müssen ihre Ansätze zur KI-Politik überdenken, um mit der...

EU plant Aufschub für AI-Gesetzgebung

Die EU plant, die Anforderungen für risikobehaftete KI-Systeme im KI-Gesetz bis Ende 2027 zu verschieben, um Unternehmen mehr Zeit zu geben, sich anzupassen. Kritiker befürchten, dass diese...

Weißes Haus lehnt GAIN AI-Gesetz ab: Nvidia im Fokus

Das Weiße Haus hat sich gegen den GAIN AI Act ausgesprochen, während es um die Exportbeschränkungen für Nvidia-AI-Chips nach China geht. Die Diskussion spiegelt die politischen Spannungen wider, die...

Ethische KI als Beschleuniger für Innovation

Unternehmen stehen heute unter Druck, mit künstlicher Intelligenz zu innovieren, oft jedoch ohne die notwendigen Sicherheitsvorkehrungen. Indem sie Datenschutz und Ethik in den Entwicklungsprozess...

KI im Recruiting: Verborgene Risiken für Arbeitgeber

Künstliche Intelligenz verändert die Art und Weise, wie Arbeitgeber Talente rekrutieren und bewerten. Während diese Tools Effizienz und Kosteneinsparungen versprechen, bringen sie auch erhebliche...

KI im australischen Kabinett: Chancen und Sicherheitsbedenken

Die australische Regierung könnte in Betracht ziehen, KI-Programme zur Erstellung sensibler Kabinettsanträge zu nutzen, trotz Bedenken hinsichtlich Sicherheitsrisiken und Datenverletzungen...