Emotionale Erkennungssysteme im Arbeitsumfeld: Risiken und Herausforderungen

EU AI-Gesetz – Fokus auf Emotionserkennungssysteme am Arbeitsplatz

Emotionserkennung künstlicher Intelligenz (Emotion AI) bezieht sich auf KI, die verschiedene biometrische und andere Datensätze wie Gesichtsausdrücke, Tastenanschläge, Sprachton und Verhaltensweisen nutzt, um Emotionen zu identifizieren, abzuleiten und zu analysieren. Basierend auf der affektiven Informatik, die ihren Ursprung in den 90er Jahren hat, vereint dieses multidisziplinäre Feld die Studien der natürlichen Sprachverarbeitung, Psychologie und Sociologie.

Emotion AI hat in letzter Zeit von einem beispiellosen Anstieg der Rechenleistung profitiert. Ubiquitäre, ausgeklügelte Sensortechnologie in Geräten und IoT ermöglichen es, enorme Mengen an Daten durch diese Systeme zu bewerten. Berichten zufolge wird erwartet, dass der Markt für Emotion AI von 3 Milliarden USD im Jahr 2024 auf 7 Milliarden USD in den nächsten fünf Jahren wächst.

Emotion AI wird zunehmend in vielen Kontexten eingesetzt, einschließlich zur Erkennung potenzieller Konflikte, Verbrechen oder Schäden in öffentlichen Räumen wie Bahnhöfen oder Baustellen. Sie wird auch in der Technologie- und Konsumgüterbranche eingesetzt, wo detaillierte Kundeninsights, hyper-personalisierte Verkäufe und nuancierte Marktsegmentierung das Ideal darstellen.

Regulierung durch das EU AI-Gesetz

Seit dem Inkrafttreten am 1. August 2024 stellt das EU AI-Gesetz strenge Anforderungen an Emotion AI und klassifiziert sie entweder in die Kategorien „Hohe Risiken“ und „Verbotene Nutzung“, abhängig vom Kontext. Emotion AI, die in die verbotene Kategorie fällt, ist bereits effektiv in der EU verboten. Ab dem 2. Februar 2025 verbietet Artikel 5(1)(f) des EU AI-Gesetzes die „Markteinführung, Inbetriebnahme zu diesem spezifischen Zweck oder Nutzung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, … es sei denn, die Nutzung ist für medizinische oder Sicherheitszwecke bestimmt.“

Die Europäische Kommission veröffentlichte am 4. Februar 2025 die „Richtlinien zu verbotenen künstlichen Intelligenzpraktiken“, um mehr Einblick in die Parameter der verschiedenen Definitionen zu geben.

Anwendungsbeispiele von Emotion AI am Arbeitsplatz

Wir beleuchten zwei praktische Anwendungen von Emotion AI in Arbeitsplatzumgebungen, um die Auswirkungen dieser neuen Regeln zu veranschaulichen.

Erstes Fallbeispiel: Die Verwendung von Sentiment-Analyse bei Verkaufsgesprächen. Ein Geschäftsführender Direktor eines globalen Unternehmens plant die Einführung neuer Software, die eine einheitliche Schulung für das Verkaufsteam ermöglichen soll. Diese Software soll die Merkmale erfolgreicher Anrufe analysieren und mit den schwächsten Performern vergleichen.

Zweites Fallbeispiel: Eine Beratungsfirma möchte ihre Rekrutierung auf Bewerber für vollständig remote Rollen ausweiten. Sie plant den Einsatz von Software, die innovative KI-gestützte Funktionen zur Planung von Interviews bietet. Diese Technologie bewertet die Gesichtsausdrücke, Sprachton und andere nonverbale Hinweise der Kandidaten.

Artikel 5 des EU AI-Gesetzes und Richtlinien

Die Richtlinien klären, dass Emotionserkennungssysteme während des Rekrutierungs- oder Probezeitraums verboten sind. Dies reflektiert das bestehende Ungleichgewicht zwischen Arbeitgeber und potenziellem Mitarbeiter.

Die Anwendung von Emotion AI in den beiden Fallstudien zeigt die Herausforderungen auf, die aufgrund der neuen Vorschriften auftreten können. Insbesondere die potenziellen rechtlichen und datenschutzrechtlichen Probleme, die durch den Einsatz von Emotionserkennungssystemen am Arbeitsplatz entstehen können.

Fazit – Was sollten Sie als Nächstes tun?

Die Einführung des EU AI-Gesetzes bedeutet, dass die meisten Unternehmen ihre KI-Praktiken genauer überwachen müssen, insbesondere in Anwendungen, die sich auf Mitarbeiter oder Bewerber beziehen. Angemessene Governance-Systeme, einschließlich interner Schulungen und Audits, sind entscheidend für die Einhaltung des Gesetzes.

Die Konsequenzen für die Bereitstellung oder Nutzung verbotener KI-Systeme in der EU können hohe Geldstrafen nach sich ziehen, wobei die Strafen entweder 35 Millionen EUR oder 7% des weltweiten Jahresumsatzes betragen können. Daher ist es an der Zeit, Ihre KI-Governance zu stärken.

More Insights

CII fordert klare Regeln für den Einsatz von KI im Finanzsektor

Der Chartered Insurance Institute (CII) hat klare Verantwortungsrahmen und eine sektorweite Schulungsstrategie gefordert, um den Einsatz von Künstlicher Intelligenz (KI) im Finanzdienstleistungssektor...

Künstliche Intelligenz in New York: Wichtige Gesetzesänderungen für Arbeitgeber im Jahr 2025

Im ersten Halbjahr 2025 hat New York, ähnlich wie andere Bundesstaaten, Gesetze zur Regulierung von Künstlicher Intelligenz (KI) auf Ebene der Bundesstaaten eingeführt. Insbesondere konzentriert sich...

Risikomanagement für Künstliche Intelligenz: Strategien zur Minimierung von Gefahren

Die Risiken von KI-Systemen können durch verschiedene Faktoren wie Datenqualität, Modellarchitektur und betriebliche Herausforderungen beeinflusst werden. Ein effektives Risikomanagement ist...

Wichtige Erkenntnisse zum EU-Gesetz über Künstliche Intelligenz

Die Europäische Union hat das Gesetz über künstliche Intelligenz (AI Act) eingeführt, das darauf abzielt, die Risiken und Möglichkeiten von KI-Technologien in Europa zu verwalten. Dieses Gesetz ist...

Koreas KI-Grundgesetz: Ein neuer Rahmen für künstliche Intelligenz

Südkorea hat sich mit dem Inkrafttreten des Gesetzes über die Entwicklung von Künstlicher Intelligenz und die Schaffung von Vertrauen, bekannt als AI Basic Act, an die Spitze der KI-Regulierung in...

EU AI-Gesetz und DORA: Finanzielle Risiken und Compliance neu definiert

Die EU AI Act und DORA stellen neue Anforderungen an Finanzinstitute, indem sie Transparenz und Resilienz in der Nutzung von KI-Systemen fordern. Unternehmen müssen die finanziellen Risiken...

KI-Regulierung im transatlantischen Kontext

Künstliche Intelligenz (KI) hat sich zu einer der bedeutendsten technologischen Kräfte der Gegenwart entwickelt und hat das Potenzial, Volkswirtschaften, Gesellschaften und die globale Governance...

EU-Kommission plant Maßnahmen zur Förderung von KI-Gigafabriken

Die EU-Kommission möchte die Hürden für den Einsatz von Künstlicher Intelligenz (KI) abbauen und plant, die Infrastruktur für Datenzentren in Europa erheblich auszubauen. Dies geschieht im Rahmen des...