Fragen des CJEU zum AI-Gesetz und automatisierten Entscheidungen

CJEU Erhält Fragen zum KI-Gesetz im Zusammenhang mit automatisierten Entscheidungen

Am 25. November 2024 stellte das Bezirksgericht Sofia in Bulgarien einen Antrag auf eine vorläufige Entscheidung beim Europäischen Gerichtshof (CJEU), der sich auf die Bestimmungen zur automatisierten Entscheidungsfindung (ADM) gemäß dem KI-Gesetz bezieht. Der Fall C-806/24 betrifft eine Klage eines Telekommunikationsunternehmens gegen einen Verbraucher, der seine Rechnungen nicht bezahlt hat.

Der Verbraucher argumentiert, dass die Methode des Telekommunikationsunternehmens zur automatischen Berechnung von Gebühren ein ADM-System darstellt, das den Anforderungen des Artikels 86(1) des KI-Gesetzes unterliegt. In diesem Zusammenhang wurden Fragen zur Transparenz, menschlichen Überprüfung und Fairness des ADM-Systems aufgeworfen.

Das bulgarische Gericht hat den CJEU um Klarstellung zu 17 Rechtsfragen gebeten, unter Berufung auf das KI-Gesetz, die Richtlinie über unfaire Vertragsklauseln und die Richtlinie über Verbraucherrechte.

Fragen des bulgarischen Gerichts

Im Großen und Ganzen stellt das bulgarische Gericht dem CJEU drei Gruppen von Fragen zur Prüfung:

  1. Fragen im Zusammenhang mit dem Recht des Verbrauchers, informiert zu werden und eine Überprüfung von Entscheidungen, die durch ADM getroffen wurden, zu beantragen;
  2. Fragen zur Fairness der Erhebung einer Entschädigungsgebühr, wenn der Vertrag beendet wurde, gemäß dem Verbraucherschutzrecht;
  3. Eine Frage, ob ein Verbraucher verpflichtet werden kann, einen Teil der Verfahrenskosten zu tragen, wenn der Händler das ADM nicht klar und verständlich erklärt hat, aber später während des Gerichtsverfahrens eine Erklärung abgibt.

Die erste Gruppe von Fragen konzentriert sich auf die Auslegung des Artikels 86(1) des KI-Gesetzes. Diese Bestimmung besagt, dass jede Person, die einer Entscheidung unterliegt, die (1) auf den Ergebnissen eines hochriskanten KI-Systems basiert und (2) rechtliche Wirkungen hat oder diese Person ähnlich erheblich beeinflusst, das Recht hat, vom KI-Betreiber „klare und aussagekräftige Erklärungen zur Rolle des KI-Systems im Entscheidungsprozess und den Hauptfaktoren der getroffenen Entscheidung“ zu erhalten.

Fragen zu Artikel 86(1)

Das bulgarische Gericht stellt unter anderem folgende Fragen bezüglich des Artikels 86(1) des KI-Gesetzes, in Verbindung mit anderen EU-Rechtsvorschriften:

  • Sollte Artikel 86(1) so interpretiert werden, dass der Händler den Verbraucher darüber informieren muss, wie die Entscheidung unter Verwendung von ADM getroffen wird (hier: bezüglich des Algorithmus, der die automatisch generierten Rechnungen berechnet, und welche Elemente und Parameter darin einfließen)?
  • Hat das Gericht die Befugnis, den Händler zu verpflichten, die Black-Box-Daten, den Quellcode und den Algorithmus bezüglich der Art und Weise, wie Entscheidungen auf der Grundlage eines ADM-Systems getroffen werden, bereitzustellen?
  • Hat der Verbraucher das Recht gemäß Artikel 86(1), vom Händler eine Erklärung oder den Algorithmus bezüglich des Entscheidungsprozesses zu verlangen?
  • Hat der Verbraucher das Recht, eine menschliche Überprüfung von Entscheidungen, die auf ADM basieren, zu beantragen – und muss diese menschliche Überprüfung durch einen Richter in einem echten Gerichtsverfahren erfolgen?

Es ist interessant zu beachten, dass das KI-Gesetz im August 2024 in Kraft trat, Artikel 86(1) jedoch erst ab dem 2. August 2026 Anwendung findet. Ein Urteil wird bis Mitte 2026 erwartet.

Regulatorische Entwicklungen im Bereich KI werden weiterhin genau verfolgt, und es wird regelmäßig Beratung zu den herausforderndsten regulatorischen und compliance-relevanten Themen im Bereich KI gegeben.

More Insights

EU AI-Gesetz und Australiens Sicherheitsrahmen: Ein globaler Überblick

Laut dem DJ Piper Technology’s Legal Edge-Blog müssen globale Unternehmen, die künstliche Intelligenz einsetzen, die internationalen KI-Vorschriften verstehen. Die Europäische Union und Australien...

Quebecs KI-Politik für Hochschulen und Cégeps

Die Regierung von Quebec hat eine neue KI-Richtlinie für Universitäten und CÉGEPs veröffentlicht, um die Nutzung von generativer KI im Hochschulbereich zu regeln. Die Richtlinien betonen die...

Deutschland setzt AI Act um: Neue Regelungen für KI-Compliance

Die bestehenden Regulierungsbehörden werden die Verantwortung für die Überwachung der Einhaltung des EU-AI-Gesetzes durch deutsche Unternehmen übernehmen, wobei der Bundesnetzagentur (BNetzA) eine...

Weltführer und KI-Pioniere fordern verbindliche globale AI-Schutzmaßnahmen bis 2026

Weltführer und KI-Pioniere fordern die UN auf, bis 2026 verbindliche globale Sicherheitsvorkehrungen für KI zu schaffen. Diese Initiative zielt darauf ab, die Risiken und Herausforderungen, die mit...

Künstliche Intelligenz im Zeitalter des Zero Trust: Governance neu denken

Im Jahr 2025 sehen wir, wie KI von einem bloßen Schlagwort zu einer praktischen Anwendung in verschiedenen Bereichen wird. Effektive Governance in einer Zero-Trust-Wirtschaft ist entscheidend, um...

Neue AI-Strategie: Technisches Sekretariat statt Regulator

Der bevorstehende Governance-Rahmen für künstliche Intelligenz könnte ein "technisches Sekretariat" umfassen, das die KI-Politik zwischen den Regierungsbehörden koordiniert. Dies stellt einen Wechsel...

KI-Sicherheit als Motor für Innovation in Schwellenländern

Die Diskussion über KI-Sicherheit und -Schutz wird oft als Hindernis für Innovationen wahrgenommen, insbesondere in Ländern der Global Majority. Die bevorstehende AI Impact Summit in Indien im Februar...

AI-Governance in ASEAN: Auf dem Weg zu einem einheitlichen Ansatz?

Wenn es um KI geht, legisliert Europa, während Amerika auf marktorientierte Innovation setzt und China zentral steuert. ASEAN hingegen setzt auf einen konsensorientierten Ansatz, der eine freiwillige...