Die Risiken von Halluzinationen und dem Missbrauch generativer Künstlicher Intelligenz vor französischen Gerichten
Französische Gerichte sehen sich zunehmend mit Halluzinationen konfrontiert, die von Künstlicher Intelligenz (KI) erzeugt werden. Diese äußern sich in Form fehlerhafter Verweise auf Rechtsprechung in den Schriftsätzen der Parteien oder im Missbrauch von KI zur Untermauerung ihrer Ansprüche. Obwohl bis jetzt keine Sanktionen in Frankreich verhängt wurden, können die unverantwortliche oder unangemessene Nutzung von KI dennoch erhebliche Konsequenzen für Anwälte und ihre Mandanten haben.
Die Nutzung von KI im Rechtswesen
In einer Zeit, in der die Nutzung und Funktionalitäten von KI ständig weiterentwickelt werden, ist der Wandel, der aus diesen technologischen Fortschritten resultiert, besonders bei den Akteuren im Rechtssystem sichtbar. Viele rechtliche KI-Tools sind mittlerweile verfügbar, um Vertrags- oder Verfahrensdokumente zu erstellen, Dokumente zu analysieren und zusammenzufassen sowie Rechtsprechung zu recherchieren. Laut einer Umfrage von Wolters Kluwer im Jahr 2026 nutzen über 90 % der Rechtsfachleute mindestens ein KI-Tool in ihrer Tätigkeit.
Vorsicht ist geboten
Es ist jedoch Vorsicht geboten, da niemand vor KI-Halluzinationen geschützt ist. Generative KI-Tools sind oft so programmiert, dass sie die statistisch wahrscheinlichste Antwort selbstbewusst und überzeugend präsentieren, ohne eine nachfolgende Überprüfung vorzunehmen, die weiterhin den Menschen vorbehalten bleibt. Die daraus resultierenden fehlerhaften oder irreführenden Inhalte, wie falsche Verweise auf Rechtsprechung, sind häufig.
Fehlerhafte oder nicht existierende Rechtsverweise
Die Entstehung solcher Rechtsprechung rührt von dem klaren Wunsch der Richter her, vor der Nutzung ungenauer oder nicht existierender Rechtsverweise in den Eingaben der Parteien zu warnen. Dies kann mehrere Fälle abdecken:
- Wo es keine Rechtsprechung mit der angegebenen Referenznummer gibt
- Wo das Urteil nicht am angegebenen Datum erlassen wurde
- Wo der Umfang der Rechtsprechung nicht mit dem Argument in Verbindung steht, für das er angeführt wird
In diesem Kontext kann der Richter die betroffene Partei und/oder deren Anwalt ansprechen und sie einladen, in Zukunft zu „überprüfen, dass die Verweise, die sie in Suchmaschinen oder von Künstlicher Intelligenz gefunden haben, keine ‚Halluzinationen‘ sind.“
Dokumente, die von einem generativen KI-Tool erstellt wurden
Die Gerichte sehen sich auch Anträgen und Eingaben gegenüber, die von generativen KI-Tools verfasst wurden. Verwaltungsgerichte waren die ersten, die von diesem Phänomen betroffen waren, da die Vertretung durch einen Anwalt nicht immer vor den Verwaltungsgerichten erforderlich ist und Antragsteller sich manchmal der Risiken, die mit diesen Tools verbunden sind, nicht bewusst sind.
Richter scheinen jedoch manchmal weniger streng mit Laienantragstellern umzugehen, die KI missbrauchen, wenn sie nicht von einem juristischen Fachmann vertreten werden, der die rechtlichen Inhalte der produzierten Dokumente überprüfen kann.
Folgen der Nutzung generativer KI für die Argumentation des Gerichts
Die Nutzung eines generativen KI-Tools ist an sich nicht strafbar, da es keine gesetzliche Regel gibt, die die Verwendung solcher Tools zur Unterstützung rechtlicher Argumente verbietet. Allerdings können KI-Halluzinationen dazu führen, dass Antragsteller fehlerhafte oder unbegründete Argumente vorbringen, die vom Richter abgelehnt werden. Dies war in mehreren Fällen vor dem Verwaltungsgericht Rennes der Fall, das Anträge zurückgewiesen hat, die „offensichtlich … unter Verwendung eines generativen KI-Tools verfasst wurden,“ weil sie nicht die „notwendigen Details für die Beurteilung des Inhalts bereitstellten.“
Generierte Beweise durch KI
Obwohl die französische Rechtsprechung bisher noch nicht mit Fällen von gefälschten Beweisen, die von KI generiert wurden, konfrontiert war, steigt das Risiko, je raffinierter die generativen KI-Tools werden. Ein Beispiel könnte der Dawes-Fall sein, in dem ein Mandant seinen Anwälten ein gefälschtes Dokument vorlegte, um seine Freisprechung zu erreichen.
Sanktionen gegenüber Anwälten
Bisher haben französische Gerichte keine Sanktionen gegen Anwälte verhängt, die sich auf KI-Halluzinationen in ihren Argumenten verlassen haben, sondern lediglich verlangt, dass sie die in ihren Eingaben zitierten Verweise überprüfen. Dies hat höchstens zu einer einfachen Warnung geführt, ohne finanzielle oder berufliche Konsequenzen.
Im Gegensatz zur US-Rechtsprechung, die auf Regel 11 der Bundesverfahrensordnung zurückgreift, um Anwälte zu sanktionieren, dürfen Anwälte in Frankreich weiterhin auf die nationalen Vorschriften des Anwaltsberufs zurückgreifen. Dazu gehören die Pflichten der Kompetenz, Sorgfalt und Umsicht. Diese Prinzipien implizieren, dass Anwälte, die KI-Systeme verwenden, die Zuverlässigkeit der Ergebnisse überprüfen müssen.
Die französische Anwaltskammer fordert in ihrem Weißbuch über Künstliche Intelligenz zur Vorsicht auf und stellt fest, dass „die berufliche zivilrechtliche Haftung eines Anwalts aufgrund von fehlerhaften Informationen aus KI-Systemen in Anspruch genommen werden kann.“ Anwälte, die KI-Tools nutzen, müssen sich daher bewusst sein, dass sie für die rechtliche Arbeit, die mit Hilfe von KI generiert wird, allein verantwortlich bleiben.
