EU AI-Gesetz – Fokus auf emotionale Erkennungssysteme am Arbeitsplatz
Das emotionale Erkennungs-Künstliche-Intelligenz (Emotion AI) bezieht sich auf KI, die verschiedene biometrische und andere Datensätze verwendet, wie z.B. Gesichtsausdrücke, Tippverhalten, Stimmton und verhaltensbezogene Eigenheiten, um Emotionen zu identifizieren, abzuleiten und zu analysieren. Diese Disziplin basiert auf der affektiven Informatik, die ihre Ursprünge in den 90er Jahren hat, und vereint Studien aus den Bereichen natürliche Sprachverarbeitung, Psychologie und Soziologie.
In den letzten Jahren hat die Emotion AI von einer nie dagewesenen Rechenleistung profitiert. Die allgegenwärtige, ausgeklügelte Sensortechnologie in Geräten und im Internet der Dinge (IoT) ermöglicht es, enorme Datenmengen durch diese Systeme zu analysieren. Es wird berichtet, dass der Markt für Emotion AI von 3 Milliarden USD im Jahr 2024 auf 7 Milliarden USD in den nächsten fünf Jahren wachsen soll.
Emotion AI wird zunehmend in vielen Kontexten eingesetzt, darunter zur Erkennung potenzieller Konflikte, Kriminalität oder Schäden in öffentlichen Räumen wie Bahnhöfen oder Baustellen. Auch in der Technologie- und Konsumgüterbranche wird verstärkt auf Emotion AI gesetzt, wo detaillierte Kundeninsights, hyper-personalisierte Verkäufe und nuancierte Marktsegmentierungen als das Heilige Gral gelten.
Eine Vielzahl von Organisationen strebt danach, ihren Kunden den Schlüssel zu liefern, um vorherzusagen, was Kunden wirklich wollen, einschließlich über die traditionellen Technologiegiganten hinaus. Ein australisches Start-up testet derzeit in der Beta-Phase, was es als „die erste emotionale Sprachmodell der Welt“ bezeichnet, das darauf abzielt, Emotionen in Echtzeit zu verfolgen. Andere Unternehmen bringen therapeutische Chatbots auf den Markt, die Emotion AI nutzen, um Menschen zu helfen, ihre psychische Gesundheit zu verbessern.
Regulierung der Emotion AI
Da Emotion AI nun eine stark regulierte Technologie ist, müssen Organisationen, die diese Anwendungen entwickeln und nutzen, im Einklang mit dem Gesetz handeln. Seit dem Inkrafttreten am 1. August 2024 legt das EU AI-Gesetz strenge Anforderungen an Emotion AI fest, indem es diese in die Kategorien „Hohes Risiko“ und „Verbotene Nutzung“ einordnet, je nach Kontext.
Emotion AI, die in die verbotene Kategorie fällt, ist in der EU bereits effektiv verboten. Ab dem 2. Februar 2025 verbietet Artikel 5(1)(f) des EU AI-Gesetzes „die Inverkehrbringung, die Inbetriebnahme zu diesem spezifischen Zweck oder die Nutzung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, … es sei denn, die Nutzung dient medizinischen oder sicherheitsrelevanten Gründen“.
Die Europäische Kommission veröffentlichte am 4. Februar 2025 die „Richtlinien zu verbotenen künstlichen Intelligenz-Praktiken“ (Kommunikation C(2025) 884 final), um mehr Einblick in die Parameter der verschiedenen Definitionen zu geben.
Anwendungsbeispiele der Emotion AI im Arbeitsplatz
In diesem Beitrag gehen wir auf zwei praktische Anwendungen von Emotion AI in Arbeitsplatzumgebungen ein, um die Auswirkungen dieser neuen Regeln zu veranschaulichen. Außerdem heben wir Herausforderungen hervor, die wir in der Praxis erwarten, angesichts der Nuancen bei der Auslegung des Verbots gemäß Artikel 5(1)(f) des Arbeitsplatzes.
Fallstudie 1: Sentiment-Analyse bei Verkaufsgesprächen
Die erste Fallstudie betrifft die Verwendung von Sentiment-Analysesoftware bei Verkaufsgesprächen. Stellen Sie sich ein beschäftigtes Verkaufsteam in einem Technologieunternehmen vor, das versucht, seine Monatsziele bezüglich der Akquise neuer Kunden und des Abschlusses von Geschäften zu erreichen. Der Chief Revenue Officer dieses globalen Unternehmens mit Sitz in den USA möchte neue Software einführen, die eine einheitliche Schulung für das Vertriebspersonal im globalen Team ermöglicht. Diese Software hebt die Merkmale von Gesprächen erfolgreicher Mitarbeiter hervor und vergleicht sie mit denen der weniger erfolgreichen Mitarbeiter.
Die Implementierung von Software zur Aufzeichnung und Analyse von Anrufen wird als unverzichtbar erachtet, um den Schlüssel zum Erfolg bei solchen Anrufen und letztendlich zum Umsatz des Unternehmens zu bestimmen. Die Software verfolgt Kennzahlen wie die Anzahl der Wechsel im Dialog, das Verhältnis von Sprechen zu Zuhören und den optimalen Zeitpunkt, an dem Preisgespräche geführt werden. Außerdem wird analysiert, wie positiv oder negativ die Sprache eines Verkäufers ist, um seine Verkaufsbereitschaft zu bestimmen. Diese hypothetische Software konzentriert sich hauptsächlich auf die Stimmung des Kunden, hat jedoch auch das Potenzial, die des Verkäufers zu erfassen. Sie behauptet, eine Vielzahl von Stimmungen oder Emotionen, einschließlich des Enthusiasmus, den sie während des Gesprächs zeigen, identifizieren zu können.
Fallstudie 2: Rekrutierung mit KI
Die zweite Fallstudie bezieht sich auf ein beschäftigtes Beratungsunternehmen, das sein Rekrutierungsnetz erweitern möchte, um Bewerber für vollständig remote Rollen zu gewinnen, und dabei einen vollständig remote Bewerbungs- und Einarbeitungsprozess verwendet. Das Unternehmen ist bestrebt, Software zu implementieren, die die Planung von Interviews mithilfe einer Plattform ermöglicht, die innovative KI-gestützte Funktionen umfasst. Es hofft, durch den Einsatz von KI die potenzielle Voreingenommenheit menschlicher Interviewer zu verringern, sodass der Prozess objektiver fairer gestaltet wird. Interviews werden aufgezeichnet, Transkripte bereitgestellt, und Einblicke werden für zahlreiche Entscheidungsträger im Unternehmen bereitgestellt, die aufgrund von Zeitunterschieden nicht am Interview teilnehmen konnten. Die Technologie bietet auch eine Funktion, die die Gesichtsausdrücke, den Stimmton und andere nonverbale Hinweise der Kandidaten bewertet, um Begeisterung oder Selbstbewusstsein, Stress oder Desinteresse zu identifizieren.
Artikel 5 des EU AI-Gesetzes und Richtlinien
Trotz der Popularität der Emotion AI auf dem Technologiemarkt und des breiten Anwendungspotenzials gibt es wenig wissenschaftlichen Konsens über die Zuverlässigkeit von Emotionserkennungssystemen. Diese Bedenken werden im EU AI-Gesetz aufgegriffen, das in Erwägungsgrund (44) feststellt, dass „die Ausdrucksformen von Emotionen erheblich von Kultur zu Kultur und von Situation zu Situation variieren, und sogar innerhalb eines einzelnen Individuums“. Dies ist ein guter Grund, warum die Verwendung von KI-Systemen, die dazu bestimmt sind, den emotionalen Zustand von Personen in arbeitsplatzbezogenen Situationen zu erkennen, kategorisch verboten ist.
Das EU AI-Gesetz definiert „Emotionserkennungssysteme“ in Artikel 3(39) als KI-Systeme „zum Zweck der Identifizierung und Ableitung von Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten.“ Während die Formulierung des Verbots in Artikel 5(1)(f) nicht speziell auf den definierten Begriff „Emotionserkennungssystem“ verweist, stellen die Richtlinien klar, dass sowohl die Konzepte „Emotionserkennung“ als auch „Emotionseinschätzung“ vom Verbot erfasst werden.
Die Identifizierung einer Emotion erfordert die Verarbeitung biometrischer Daten (wie Stimme oder Bild eines Gesichtsausdrucks), die mit einer vorprogrammierten oder gelernten Emotion verglichen werden müssen, die innerhalb des KI-Systems definiert ist. Die Definition umfasst nicht die bloße Beobachtung eines offensichtlichen Ausdrucks. Das System muss den Ausdruck identifizieren und dann eine Emotion ableiten oder schließen. Daher löst die Feststellung, dass „der Kandidat lächelt“, nicht das Verbot aus. Hingegen würde die Schlussfolgerung „der Kandidat ist glücklich“, basierend auf dem Training des KI-Systems, dies tun. Die Richtlinien klären auch, dass Verhaltensbiometrie wie Tippverhalten oder Körperhaltungen ebenfalls einbezogen wird, während schriftlicher Text, selbst wenn er emotionale Sprache enthält, nicht einbezogen ist.
Obwohl das Verbot in Artikel 5(1)(f) klar angibt, dass solche Systeme nur für Sicherheitsgründe zulässig sind, erweitern die Richtlinien die zulässigen Anwendungsfälle, um scheinbar Emotionserkennungssysteme zu Trainingszwecken zuzulassen, sofern die Ergebnisse nicht mit der Personalabteilung geteilt werden, keine Auswirkungen auf die Bewertung oder Beförderung haben oder „irgendeinen Einfluss auf das Arbeitsverhältnis“ haben. Diese Ausnahme für das Training, obwohl sie in den Richtlinien erwähnt wird, ist jedoch in den Bestimmungen oder Erwägungsgründen des Gesetzes selbst nicht zu finden.
Anwendung des EU AI-Gesetzes auf die Fallstudien
Anwendung auf Fallstudie 1
Emotion AI, die darauf trainiert ist, emotionale Hinweise von Vertriebsanrufen zu analysieren, könnte den Agenten helfen, ihre Kundenbindung zu verbessern. Dies ist ein Bereich, in dem die Einbeziehung der Schulungsausnahme in den Richtlinien wahrscheinlich am relevantesten ist. Diese Ausnahme wird vielen Technologieunternehmen, die sich auf Anrufanalysesoftware zur Schulung von Vertriebsmitarbeitern verlassen, gute Nachrichten bringen, da sie hoffen, ihren Anwendungsfall von dem ausdrücklichen Verbot gemäß Artikel 5(1)(f) des Gesetzes zu befreien.
Die praktische Anwendung davon könnte jedoch nuanciert und in bestimmten Szenarien herausfordernd sein, da viele Unternehmen, die solche Software für Verkaufsanrufe nutzen, auch dazu neigen, Leistungsbewertungsprozesse und Vergütungssysteme anzuwenden, die stark provisionsbasiert sind, berechnet nach den Einnahmen aus Geschäften. Wenn ein Mitarbeiter mit niedrigen Einnahmen zu kämpfen hat, hinter den Provisionsgewinnen zurückbleibt und kontinuierlich am unteren Ende der Verkaufsleiter-Listen erscheint, könnte dies potenziell die Leistungsbewertungen beeinträchtigen. Ein solcher Mitarbeiter könnte sich demotiviert und benachteiligt fühlen. Sollte die Situation rechtliche Schritte nach sich ziehen, könnte es für einen Arbeitgeber schwierig sein zu beweisen, dass das Emotionserkennungssystem bei Anrufen nur zu Schulungszwecken verwendet wurde und keinen Einfluss auf Entscheidungen bezüglich Vergütung oder Beförderung oder auf das Arbeitsverhältnis insgesamt hatte. Dies könnte sich insbesondere aus einer arbeitsrechtlichen Perspektive als komplex erweisen. Vorwürfe von Voreingenommenheit könnten aufkommen, wenn die KI-Software bestimmte Elemente negativ bewertet, beispielsweise bei Personen, deren Muttersprache nicht Englisch ist. Zudem besteht die Verpflichtung für Arbeitgeber, angemessene Anpassungen für Mitarbeiter vorzunehmen, die behindert sind, wenn sie durch eine Vorschrift/Kriterium/Praxis benachteiligt werden. Ein neurodiverser Mitarbeiter könnte durch eine solche Software benachteiligt werden.
Anwendung auf Fallstudie 2
In unserer zweiten Fallstudie beschäftigen wir uns mit dem Einsatz von Emotion AI vor Beginn des Arbeitsverhältnisses. Es ist klar, dass gemäß dem Verbot im Gesetz und den Richtlinien die Parameter von „Arbeitsplatz“ weit ausgelegt werden sollten. Die Richtlinien klären, dass Arbeitsplatz physische oder virtuelle Räume, ob temporär oder dauerhaft, Gebäude, Freiflächen oder Fahrzeuge umfasst, in denen Mitarbeiter Aufgaben ausführen, die einem Arbeitgeber oder der Organisation, der sie angehören (im Falle von Selbstständigkeit), zugewiesen sind. Die Richtlinien verdeutlichen auch, dass das Konzept „Arbeitsplatz“ ebenfalls auf Kandidaten während des Auswahl- und Einstellungsverfahrens angewendet werden sollte. Dies spiegelt wider, dass das Ungleichgewicht zwischen Arbeitgeber und potenziellen Arbeitnehmern bereits in der Rekrutierungsphase besteht.
Im Kontext von Interviews könnten Ungenauigkeiten, Vorurteile oder das Versäumnis, angemessene Anpassungen zur Berücksichtigung spezifischer Bedingungen oder Behinderungen in das Emotion AI-System zu integrieren, die Beschäftigungsfähigkeit von Einzelpersonen oder bestimmten Gruppen erheblich beeinflussen. Emotion AI kann daher eindeutig die Verwundbarkeiten verstärken, die mit dem asymmetrischen Arbeitgeber-/Arbeitnehmerverhältnis verbunden sind.
In der Praxis fällt jedes KI-System, das die Emotionen eines Bewerbungskandidaten bewertet, unter das Verbot gemäß Artikel 5(1)(f), da es keine klare Ausnahme gibt, die unter das Gesetz selbst anwendbar wäre. Darüber hinaus stellen die Richtlinien klar, dass die Verwendung von Emotionserkennungssystemen während des Auswahl- oder Probezeitraums verboten ist.
Fazit – Was sollten Sie als Nächstes tun?
Die Einführung des EU AI-Gesetzes bedeutet, dass die meisten Unternehmen ihre Wachsamkeit in Bezug auf ihre KI-Praktiken, insbesondere in Anwendungen, die im Zusammenhang mit Mitarbeitern oder Bewerbern eingesetzt werden, erhöhen müssen. Angemessene Governance-Systeme, einschließlich interner Schulungen und Bildungsmaßnahmen sowie robuster Due-Diligence- und Prüfprozesse, um potenzielle verbotene Verwendungen von KI zu identifizieren, werden für Organisationen von entscheidender Bedeutung sein, um die Vorgaben des Gesetzes einzuhalten.
Außerhalb der verbotenen Praktiken im Arbeitsplatz müssen Unternehmen, die Emotionserkennungssysteme in Bezug auf Kunden einsetzen, ebenfalls sicherstellen, dass sie die Regeln für Hochrisiko-KI-Systeme einhalten. Die relevanten Bestimmungen des EU AI-Gesetzes, die auf Hochrisiko-KI Anwendung finden, treten im August 2026 in Kraft, und wir erwarten weitere Leitlinien von der Europäischen Kommission zur Auslegung der verschiedenen Definitionen und Verpflichtungen im Hinblick auf Hochrisiko-Emotion AI.
Die Konsequenzen der Bereitstellung oder Nutzung verbotener KI-Systeme in der EU werden die höchsten Geldbußen gemäß dem EU AI-Gesetz nach sich ziehen, die höher sind als entweder 35.000.000 EUR oder 7 % des weltweiten Jahresumsatzes der Organisation. Da diese Geldbuße auch mit einer Geldbuße gemäß der DSGVO verbunden sein könnte, könnte eine Organisation mit einer Gesamtstrafe von bis zu 11 % des Umsatzes konfrontiert sein. Es gibt auch erhebliche Reputationsschäden, wenn dies falsch gemacht wird. Daher ist es an der Zeit, jetzt an Ihrem KI-Governance-Aufbau zu arbeiten!
