Fragen des CJEU zum AI-Gesetz und automatisierten Entscheidungen

CJEU Erhält Fragen zum KI-Gesetz im Zusammenhang mit automatisierten Entscheidungen

Am 25. November 2024 stellte das Bezirksgericht Sofia in Bulgarien einen Antrag auf eine vorläufige Entscheidung beim Europäischen Gerichtshof (CJEU), der sich auf die Bestimmungen zur automatisierten Entscheidungsfindung (ADM) gemäß dem KI-Gesetz bezieht. Der Fall C-806/24 betrifft eine Klage eines Telekommunikationsunternehmens gegen einen Verbraucher, der seine Rechnungen nicht bezahlt hat.

Der Verbraucher argumentiert, dass die Methode des Telekommunikationsunternehmens zur automatischen Berechnung von Gebühren ein ADM-System darstellt, das den Anforderungen des Artikels 86(1) des KI-Gesetzes unterliegt. In diesem Zusammenhang wurden Fragen zur Transparenz, menschlichen Überprüfung und Fairness des ADM-Systems aufgeworfen.

Das bulgarische Gericht hat den CJEU um Klarstellung zu 17 Rechtsfragen gebeten, unter Berufung auf das KI-Gesetz, die Richtlinie über unfaire Vertragsklauseln und die Richtlinie über Verbraucherrechte.

Fragen des bulgarischen Gerichts

Im Großen und Ganzen stellt das bulgarische Gericht dem CJEU drei Gruppen von Fragen zur Prüfung:

  1. Fragen im Zusammenhang mit dem Recht des Verbrauchers, informiert zu werden und eine Überprüfung von Entscheidungen, die durch ADM getroffen wurden, zu beantragen;
  2. Fragen zur Fairness der Erhebung einer Entschädigungsgebühr, wenn der Vertrag beendet wurde, gemäß dem Verbraucherschutzrecht;
  3. Eine Frage, ob ein Verbraucher verpflichtet werden kann, einen Teil der Verfahrenskosten zu tragen, wenn der Händler das ADM nicht klar und verständlich erklärt hat, aber später während des Gerichtsverfahrens eine Erklärung abgibt.

Die erste Gruppe von Fragen konzentriert sich auf die Auslegung des Artikels 86(1) des KI-Gesetzes. Diese Bestimmung besagt, dass jede Person, die einer Entscheidung unterliegt, die (1) auf den Ergebnissen eines hochriskanten KI-Systems basiert und (2) rechtliche Wirkungen hat oder diese Person ähnlich erheblich beeinflusst, das Recht hat, vom KI-Betreiber „klare und aussagekräftige Erklärungen zur Rolle des KI-Systems im Entscheidungsprozess und den Hauptfaktoren der getroffenen Entscheidung“ zu erhalten.

Fragen zu Artikel 86(1)

Das bulgarische Gericht stellt unter anderem folgende Fragen bezüglich des Artikels 86(1) des KI-Gesetzes, in Verbindung mit anderen EU-Rechtsvorschriften:

  • Sollte Artikel 86(1) so interpretiert werden, dass der Händler den Verbraucher darüber informieren muss, wie die Entscheidung unter Verwendung von ADM getroffen wird (hier: bezüglich des Algorithmus, der die automatisch generierten Rechnungen berechnet, und welche Elemente und Parameter darin einfließen)?
  • Hat das Gericht die Befugnis, den Händler zu verpflichten, die Black-Box-Daten, den Quellcode und den Algorithmus bezüglich der Art und Weise, wie Entscheidungen auf der Grundlage eines ADM-Systems getroffen werden, bereitzustellen?
  • Hat der Verbraucher das Recht gemäß Artikel 86(1), vom Händler eine Erklärung oder den Algorithmus bezüglich des Entscheidungsprozesses zu verlangen?
  • Hat der Verbraucher das Recht, eine menschliche Überprüfung von Entscheidungen, die auf ADM basieren, zu beantragen – und muss diese menschliche Überprüfung durch einen Richter in einem echten Gerichtsverfahren erfolgen?

Es ist interessant zu beachten, dass das KI-Gesetz im August 2024 in Kraft trat, Artikel 86(1) jedoch erst ab dem 2. August 2026 Anwendung findet. Ein Urteil wird bis Mitte 2026 erwartet.

Regulatorische Entwicklungen im Bereich KI werden weiterhin genau verfolgt, und es wird regelmäßig Beratung zu den herausforderndsten regulatorischen und compliance-relevanten Themen im Bereich KI gegeben.

More Insights

Verantwortungsvolle KI-Workflows für UX-Forschung

Dieser Artikel untersucht, wie KI verantwortungsvoll in den Arbeitsabläufen der UX-Forschung integriert werden kann, um Geschwindigkeit und Effizienz zu steigern, während gleichzeitig die menschliche...

Die Entwicklung von Agentic AI im Bankwesen

Agentic AI revolutioniert die Bankenbranche, indem es autonome Systeme bereitstellt, die Entscheidungen treffen und Maßnahmen mit minimalem menschlichen Eingriff ergreifen. Diese Technologie...

KI-gestützte Compliance: Schlüssel zu skalierbarer Krypto-Infrastruktur

Die explosive Wachstums der Krypto-Industrie bringt zahlreiche regulatorische Herausforderungen mit sich, insbesondere im grenzüberschreitenden Betrieb. KI-native Compliance-Systeme sind entscheidend...

ASEANs Weg zur KI-Governance: Uneben, aber im Aufwind

Die ASEAN und ihre Mitgliedsstaaten verfolgen einen innovationsfreundlichen Ansatz zur künstlichen Intelligenz (KI), um die Region in Richtung einer vollständig digitalen Wirtschaft zu bringen...

Risiken der KI: Was Unternehmen ignorieren sollten

Im Jahr 2024 stellte der Softwareanbieter Sage seinen generativen KI-Assistenten ein, nachdem Benutzer berichtet hatten, dass sensible Finanzdaten zwischen Konten geleakt wurden. Unternehmen stehen...

Die Notwendigkeit für KI-Sicherheit: Chancen und Herausforderungen

Die Revolution der künstlichen Intelligenz ist keine ferne Verheißung mehr – sie ist hier und verändert Branchen, Volkswirtschaften und das tägliche Leben. Um die Macht der KI verantwortungsvoll zu...

Künstliche Intelligenz im Polizeiwesen: Chancen und Herausforderungen

Gesetzesvollzugsbehörden nutzen zunehmend künstliche Intelligenz (KI), um ihre Abläufe zu verbessern, insbesondere durch erweiterte Möglichkeiten für prädiktive Polizeiarbeit. Der globale Markt für...

Kenias Führungsrolle bei UN-Vereinbarung zur KI-Governance

Kenia hat einen bedeutenden diplomatischen Erfolg erzielt, nachdem alle 193 Mitgliedstaaten der Vereinten Nationen einstimmig beschlossen haben, zwei wegweisende Institutionen zur Regulierung der...