Offensichtliche Schlupflöcher im Verbot von Emotionserkennungstechnologien im AI-Gesetz?
Am 13. Mai 2024 wurde während einer Veranstaltung von OpenAI das KI-Modell Chat-GPT gebeten, eine Gute-Nacht-Geschichte zu erzählen, was es mit unterschiedlichen emotionalen Tonlagen tat. Ein paar Minuten später fragte ein Forscher von OpenAI Chat-GPT, seine Emotionen durch seine Gesichtsausdrücke zu bewerten. Das KI-Modell antwortete in weiblicher Stimme: „glücklich und fröhlich mit einem großen Lächeln und vielleicht sogar einem Hauch von Aufregung. Egal, was passiert, es scheint, als wären Sie in großartiger Stimmung. Möchten Sie die Quelle dieser guten Stimmung teilen?“
Emotionserkennungstechnologien (ERTs)
Emotionserkennungstechnologien sind Systeme, die die emotionalen Zustände von Individuen durch verschiedene Methoden erkennen und identifizieren. Einige ERTs spezialisieren sich auf die Erkennung und Identifizierung breiter emotionaler Zustände und konzentrieren sich somit auf negative oder positive Zustände (d.h. Valenz), während andere eine breite Palette diskreter emotionaler Zustände überwachen (z.B. Glück, Angst, Wut, Überraschung, Verwirrung usw.).
ERT existiert seit fast 10 Jahren und war umstritten. Technologien wie Amazons Rekognition, Microsoft Azure Emotion Recognition (auch bekannt als API Face) und das von Apple übernommene Start-up Emotient behaupten, die Emotionen von Menschen durch Gesichtsausdrücke zu erkennen. Aber sie sind nicht allein. Nao, MiRo, Xiaoce, Hume-basierte KI, Happimeter, AVATAR, iBorderCtrl sind alles verschiedene Ausprägungen von ERT, die alle die gleiche Meinung vertreten: Der Zugang zu und die Exposition gegenüber dem inneren affektiven Leben ist wünschenswert. Der Markt für die ERT-Industrie wurde 2019 auf rund 20 Milliarden Dollar geschätzt, mit einem massiven globalen Auftreten in Flughäfen, Schulen, sozialen Medien, HR-Prozessen und Strafverfolgung. Es wird prognostiziert, dass die Branche bis Ende 2024 50 Milliarden Dollar überschreiten wird.
Emotionen und deren Bedeutung
Emotionen und emotionale Ausdrucksformen haben immer ein wichtiges Gewicht bei der Beurteilung des Charakters und der Absichten einer Person getragen. Das Analysieren der Emotionen einer anderen Person hilft, unsere wichtigsten Urteile zu bilden, sei es, dass wir unseren Partner mit Zweifeln an seiner Loyalität konfrontieren, entscheiden, ob wir einem Kollegen wichtige Informationen anvertrauen oder in einer Jury sitzen, die darüber entscheidet, ob jemand zum Tode verurteilt wird. Der US-Supreme-Court-Richter Anthony Kennedy schrieb in Riggins v. Nevada im Jahr 1992, dass es notwendig ist, zu wissen, ob der Angeklagte reuevoll oder schuldig ist, um „das Herz und den Verstand des Täters zu kennen“.
Kontroversen um emotionale Ausdrucksformen
Die Vorstellung, dass die emotionalen Ausdrucksformen einer Person ihren tatsächlichen Geisteszustand offenbaren können, war schon immer umstritten, da Individuen andere in dieser Hinsicht manchmal täuschen können – und einige Menschen sind darin sehr gut. Dies folgt einem verbreiteten Glauben, dass die inneren Zustände von Menschen nie vollständig für andere zugänglich sind, und daher wird Sicherheit in dieser Hinsicht nie möglich sein.
Parallel zu diesem Glauben besteht die Überzeugung, dass affektive Zustände mit physiologischen Körpersymptomen korreliert sind, was sie anfällig für die Erkennung macht. Wenn die „korrekten“ Korrelationen zwischen Körpersymptomen und inneren affektiven Zuständen entdeckt werden könnten, könnten alle Versuche der Täuschung umgangen werden und die „wahren“ affektiven Zustände einer Person könnten unabhängig vom Willen der Person, sie zu teilen, zugänglich gemacht werden.
Regulierung durch das AI-Gesetz
Im Jahr 2016 wurde das Wort „Emotion“ im GDPR kein einziges Mal erwähnt. Im Jahr 2021 finden wir es 10 Mal im AI-Gesetz und 20 Mal in seiner erneuerten und offiziellen Version 2024. Das AI-Gesetz konkretisiert die vorläufigen Ideen von 2021 und stellt fest, dass es „ernsthafte Bedenken hinsichtlich der wissenschaftlichen Grundlage von KI-Systemen gibt, die darauf abzielen, Emotionen zu identifizieren oder abzuleiten“, und klassifiziert ERTs in die Kategorie der „hochriskanten“ Technologien und verbietet deren Einsatz am Arbeitsplatz und in Bildungseinrichtungen. Laut dem AI-Gesetz sind ERTs definiert als „ein KI-System, das entwickelt wurde, um Emotionen oder Absichten natürlicher Personen anhand ihrer biometrischen Daten zu identifizieren oder abzuleiten“. „Emotionen“ bedeuten „Emotionen oder Absichten wie Glück, Traurigkeit, Wut, Überraschung, Ekel, Scham, Aufregung, Verachtung, Zufriedenheit und Belustigung“. Das Verbot und die Klassifizierung als „hochriskante“ Technologie wird durch die Identifizierung schwerwiegender Schlüsseldefizite gerechtfertigt, nämlich der begrenzten Zuverlässigkeit, fehlenden Spezifität und begrenzten Generalisierbarkeit dieser Systeme. Diese Defizite sind eine direkte Folge der aktuellen technischen Einschränkungen dieser Systeme und können Ergebnisse verzerren und zu ernsthaften Diskriminierungen führen.
Das AI-Gesetz stellt speziell fest, dass diese Verzerrungen besonders relevant sind, wenn es um Alter, Ethnie, Rasse, Geschlecht oder Behinderung geht. Daraus könnte geschlossen werden, dass ERTs angemessen behandelt wurden und dass ihre Regulierung zumindest in der EU in guten Händen ist.
Offene Fragen und zukünftige Herausforderungen
Während die Anerkennung der technischen Einschränkungen dieser Systeme definitiv ein Fortschritt in der Regulierung von KI im Allgemeinen und von ERT im Besonderen ist, lässt das Gesetz eine Reihe von Problemen offen, die anerkannt werden müssen. Zunächst macht das AI-Gesetz einen Unterschied zwischen der Identifizierung emotionaler Ausdrucksformen und der Ableitung des emotionalen Zustands eines Individuums aus seinen emotionalen Ausdrucksformen. Das Verbot gilt nur für Letzteres, sodass Ersteres – die Identifizierung emotionaler Ausdrucksformen – erlaubt ist.
Formell, wie McStay betont, verbietet es Unternehmen nur, explizit zu versuchen, Emotionen abzuleiten.
Unter dem Gesetz könnte ein Callcenter-Manager, der emotionale KI zur Überwachung nutzt, einen Mitarbeiter möglicherweise disziplinieren, wenn die KI sagt, dass er bei Anrufen grimmig klingt, solange es keine Schlussfolgerung gibt, dass er tatsächlich grimmig ist. „Jeder könnte diese Art von Technologie weiterhin verwenden, ohne eine explizite Schlussfolgerung über die inneren Emotionen einer Person zu ziehen und Entscheidungen zu treffen, die sie betreffen könnten“, sagt McStay.
Darüber hinaus basiert das Verbot – auf das explizite Ableiten der emotionalen Zustände von Individuen aus ihren emotionalen Ausdrucksformen – auf der Annahme, dass es ernsthafte technische Einschränkungen gibt, was besorgniserregend ist. Dies könnte in naher Zukunft problematisch sein, da die aktuellen Vorschriften die Benutzer nicht vor der Verwendung von ERTs schützen, sondern vor der Verwendung von voreingenommenen und fehlerhaften ERTs.
Während diese Regulierung möglicherweise die Implementierung vorübergehend gestoppt hat, ist diese Pause nur vorübergehend, da die Regulierung nicht vor der Verwendung von ERTs schützt, die als voll funktionsfähig angesehen werden. Angesichts des anhaltenden Interesses an der Erkennung und Vorhersage von Emotionen und der Tatsache, dass Forscher, private Unternehmen und Regierungen weiterhin versuchen, neue Wege zu finden, um Gedanken, affektive Zustände und physiologische Symptome zu korrelieren, ist es notwendig zu fragen, welche Konsequenzen – über Vorurteile und das Risiko von Diskriminierung hinaus – die Verwendung von (funktionalen) ERTs für Einzelpersonen und die Gesellschaft haben würde. Angesichts des derzeitigen Marktes für diese Art von Technologie ist es mehr als plausibel, dass Verbesserungen in beispielsweise multimodalen ERT mit Echtzeitüberwachung bald die technischen Herausforderungen überwinden werden. Die Art und Weise, wie das derzeitige Verbot gerechtfertigt ist, schwächt daher die EU-Regulierung zu ERT erheblich und öffnet die Tür zu legitimen Bedenken hinsichtlich des tatsächlichen Umfangs des Schutzes, den es angeblich bietet.
Nach der Informationsrevolution wird die Fähigkeit, menschliche Emotionen zu verstehen, jetzt als ein wesentlicher Bestandteil der Entwicklung von KI-Systemen angesehen, von der Mensch-Computer-Interaktion (HCI) bis hin zu Entscheidungsunterstützungssystemen (DSS). Aber wie wird diese fehlerhaft regulierte Kommodifizierung des affektiven Lebens das Leben der Menschen im Zeitalter der Datendoxa beeinflussen?
