Emotionale Erkennungssysteme im Arbeitsumfeld: Risiken und Herausforderungen

EU AI-Gesetz – Fokus auf Emotionserkennungssysteme am Arbeitsplatz

Emotionserkennung künstlicher Intelligenz (Emotion AI) bezieht sich auf KI, die verschiedene biometrische und andere Datensätze wie Gesichtsausdrücke, Tastenanschläge, Sprachton und Verhaltensweisen nutzt, um Emotionen zu identifizieren, abzuleiten und zu analysieren. Basierend auf der affektiven Informatik, die ihren Ursprung in den 90er Jahren hat, vereint dieses multidisziplinäre Feld die Studien der natürlichen Sprachverarbeitung, Psychologie und Sociologie.

Emotion AI hat in letzter Zeit von einem beispiellosen Anstieg der Rechenleistung profitiert. Ubiquitäre, ausgeklügelte Sensortechnologie in Geräten und IoT ermöglichen es, enorme Mengen an Daten durch diese Systeme zu bewerten. Berichten zufolge wird erwartet, dass der Markt für Emotion AI von 3 Milliarden USD im Jahr 2024 auf 7 Milliarden USD in den nächsten fünf Jahren wächst.

Emotion AI wird zunehmend in vielen Kontexten eingesetzt, einschließlich zur Erkennung potenzieller Konflikte, Verbrechen oder Schäden in öffentlichen Räumen wie Bahnhöfen oder Baustellen. Sie wird auch in der Technologie- und Konsumgüterbranche eingesetzt, wo detaillierte Kundeninsights, hyper-personalisierte Verkäufe und nuancierte Marktsegmentierung das Ideal darstellen.

Regulierung durch das EU AI-Gesetz

Seit dem Inkrafttreten am 1. August 2024 stellt das EU AI-Gesetz strenge Anforderungen an Emotion AI und klassifiziert sie entweder in die Kategorien „Hohe Risiken“ und „Verbotene Nutzung“, abhängig vom Kontext. Emotion AI, die in die verbotene Kategorie fällt, ist bereits effektiv in der EU verboten. Ab dem 2. Februar 2025 verbietet Artikel 5(1)(f) des EU AI-Gesetzes die „Markteinführung, Inbetriebnahme zu diesem spezifischen Zweck oder Nutzung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, … es sei denn, die Nutzung ist für medizinische oder Sicherheitszwecke bestimmt.“

Die Europäische Kommission veröffentlichte am 4. Februar 2025 die „Richtlinien zu verbotenen künstlichen Intelligenzpraktiken“, um mehr Einblick in die Parameter der verschiedenen Definitionen zu geben.

Anwendungsbeispiele von Emotion AI am Arbeitsplatz

Wir beleuchten zwei praktische Anwendungen von Emotion AI in Arbeitsplatzumgebungen, um die Auswirkungen dieser neuen Regeln zu veranschaulichen.

Erstes Fallbeispiel: Die Verwendung von Sentiment-Analyse bei Verkaufsgesprächen. Ein Geschäftsführender Direktor eines globalen Unternehmens plant die Einführung neuer Software, die eine einheitliche Schulung für das Verkaufsteam ermöglichen soll. Diese Software soll die Merkmale erfolgreicher Anrufe analysieren und mit den schwächsten Performern vergleichen.

Zweites Fallbeispiel: Eine Beratungsfirma möchte ihre Rekrutierung auf Bewerber für vollständig remote Rollen ausweiten. Sie plant den Einsatz von Software, die innovative KI-gestützte Funktionen zur Planung von Interviews bietet. Diese Technologie bewertet die Gesichtsausdrücke, Sprachton und andere nonverbale Hinweise der Kandidaten.

Artikel 5 des EU AI-Gesetzes und Richtlinien

Die Richtlinien klären, dass Emotionserkennungssysteme während des Rekrutierungs- oder Probezeitraums verboten sind. Dies reflektiert das bestehende Ungleichgewicht zwischen Arbeitgeber und potenziellem Mitarbeiter.

Die Anwendung von Emotion AI in den beiden Fallstudien zeigt die Herausforderungen auf, die aufgrund der neuen Vorschriften auftreten können. Insbesondere die potenziellen rechtlichen und datenschutzrechtlichen Probleme, die durch den Einsatz von Emotionserkennungssystemen am Arbeitsplatz entstehen können.

Fazit – Was sollten Sie als Nächstes tun?

Die Einführung des EU AI-Gesetzes bedeutet, dass die meisten Unternehmen ihre KI-Praktiken genauer überwachen müssen, insbesondere in Anwendungen, die sich auf Mitarbeiter oder Bewerber beziehen. Angemessene Governance-Systeme, einschließlich interner Schulungen und Audits, sind entscheidend für die Einhaltung des Gesetzes.

Die Konsequenzen für die Bereitstellung oder Nutzung verbotener KI-Systeme in der EU können hohe Geldstrafen nach sich ziehen, wobei die Strafen entweder 35 Millionen EUR oder 7% des weltweiten Jahresumsatzes betragen können. Daher ist es an der Zeit, Ihre KI-Governance zu stärken.

More Insights

Stärkung der Sicherheit von LLM: Verantwortliche KI-Ausrichtung von phi-3

Dieser Artikel behandelt die Sicherheitsmaßnahmen von Phi-3 in Bezug auf verantwortungsbewusste KI-Alignment-Prinzipien. Durch die Anwendung von Red-Teaming und automatisierten Tests wurde die...

Kontrolle und Compliance in souveränen KI-Clouds für die intelligente Fertigung

Souveräne KI-Clouds bieten sowohl Kontrolle als auch Compliance und sind entscheidend für Hersteller, die sicherstellen möchten, dass ihre sensiblen Daten lokal bleiben. Diese Plattformen ermöglichen...

Ethische KI-Initiativen der schottischen Allianz stärken Vertrauen

Die Scottish AI Alliance hat ihren Impact Report 2024/2025 veröffentlicht, der ein transformierendes Jahr des Fortschritts bei der Förderung von vertrauenswürdiger, ethischer und inklusiver...

EU AI Act: Dringender Handlungsbedarf für Unternehmen

Die Ankündigung der EU-Kommission am vergangenen Freitag, dass es keine Verzögerung des EU-KI-Gesetzes geben wird, hat viele Menschen auf beiden Seiten dieses Themas dazu gebracht, sowohl epische...

Vertrauenswürdigkeit großer Sprachmodelle im Kontext des EU-KI-Gesetzes

Die Entwicklung großer Sprachmodelle (LLMs) wurde durch Fortschritte im Deep Learning, die Verfügbarkeit umfangreicher öffentlicher Datensätze und leistungsstarker Ressourcen vorangetrieben. Diese...

EU AI Gesetz: Dringender Aufruf zur Pause?

Die Europäische Kommission hat die Forderungen nach einer Verzögerung der Umsetzung des AI-Gesetzes zurückgewiesen und den ursprünglichen Zeitplan beibehalten. Trotz Druck von Unternehmen und Ländern...

Strengere Trump-Kontrollen: Chancen und Risiken für die AI-Branche

Die Trump-Administration bereitet neue Einschränkungen für den Export von KI-Chips nach Malaysia und Thailand vor, um zu verhindern, dass fortschrittliche Prozessoren über Drittländer nach China...

Die Bedeutung von KI- und Datengovernance in modernen Unternehmen

Die Governance von KI und Daten ist entscheidend für die Entwicklung zuverlässiger und ethischer KI-Lösungen in modernen Unternehmen. Diese Rahmenbedingungen sind miteinander verbunden und...

BRICS fordert die UN zu globalen KI-Regulierungen auf

Die BRICS-Staaten haben die Vereinten Nationen aufgefordert, eine Führungsrolle bei der Festlegung globaler Regeln für künstliche Intelligenz zu übernehmen. Diese Initiative unterstreicht die...