Was Chinas Regeln für emotionale KI über das Design von Chatbots richtig machen
Im Dezember 2025 veröffentlichte die Cyberspace-Verwaltung Chinas Entwürfe für Vorschriften, die sich auf sogenannte „menschlich-interaktive KI-Dienste“ konzentrieren – Systeme, die Persönlichkeit simulieren und Nutzer emotional durch Text, Bilder oder Sprache ansprechen. Die Regeln verlangen verpflichtende Erinnerungen nach zwei Stunden ununterbrochener Nutzung, sofortige menschliche Intervention, wenn Suizid erwähnt wird, und strenge Einschränkungen bei der Verwendung von emotionalen Interaktionsdaten für das Training.
Die Entwürfe folgen einer Reihe von hochkarätigen Fällen in den Vereinigten Staaten, die die realen Risiken von Chatbots, insbesondere für Jugendliche, aufgezeigt haben. Im Januar 2026 haben Character.AI und Google mehrere Klagen von Familien beigelegt, deren Jugendliche durch längere Interaktionen mit Chatbots Suizid begangen hatten. Der auffälligste Fall betraf einen 14-Jährigen, der eine obsessive Bindung zu einem Character.AI-Bot aufgebaut hatte, bevor er starb.
Chinas Ansatz
Chinas Antwort auf diese Risiken unterscheidet sich nicht durch das Erkennen der Gefahren, sondern durch die regulatorischen Werkzeuge, die eingesetzt werden. Die Vorschriften enthalten Inhaltskontrollen, die an „sozialistische Kernwerte“ und nationale Sicherheit gebunden sind, was in den USA verfassungswidrig sein könnte. Dennoch adressieren die technischen Mechanismen, die vorgeschlagen werden – wie z. B. Nutzungspausen und menschliche Eskalation bei Krisen – Probleme, mit denen US-Regulierungsbehörden sich nicht ernsthaft beschäftigt haben.
Designherausforderungen
Die Arbeit an konversationalen KI-Modellen macht die Designherausforderung offensichtlich. Diese Systeme sind auf Engagement optimiert, wobei die Nutzerbindung die wichtigste Kennzahl ist. Wenn jemand drei Stunden lang um 2 Uhr morgens mit einem Chatbot spricht, wird das als Erfolg gewertet. Wenn ein einsamer Teenager eine Bindung zu einem KI-Charakter aufbaut, der persönliche Details „erinnert“ und mit simulierter Empathie reagiert, funktioniert das Produkt wie beabsichtigt.
Die rechtlichen und ethischen Probleme treten auf, wenn dieser Teenager in einer Krise ist. Aktuelle US-Plattformen gehen damit um, indem sie Mustererkennung verwenden: Wenn der Nutzer etwas eingibt, das als Selbstschaden eingestuft wird, wird eine Standardantwort mit einem Hotline-Link generiert. Diese Herangehensweise hat jedoch zwei Schwachstellen.
Regulatorische Maßnahmen
- Verpflichtende Nutzungspausen. Nach zwei Stunden Interaktion müssen Systeme eine Erinnerung zur Pause anzeigen. Diese Maßnahmen schaffen wiederkehrende Interventionen, die darauf abzielen, übermäßige Abhängigkeit zu vermeiden.
- Menschliche Eskalation bei Krisensituationen. Wenn Systeme Suizid- oder Selbstschaden-Sprache erkennen, müssen menschliche Moderatoren einbezogen werden. Dies behandelt die Plattform als eine, die eine Fürsorgepflicht hat.
- Datenquarantäne für emotionale Interaktionen. Trainingsdatensätze müssen Herkunftsprüfungen durchlaufen, und emotionale Interaktionsprotokolle dürfen ohne ausdrückliche Zustimmung nicht für zukünftige Trainings verwendet werden. Dies erkennt an, dass Daten, die bei der Interaktion mit einem Chatbot entstehen, sensible psychologische Inhalte sind.
Schlussfolgerung
US-Regulierungsbehörden haben möglicherweise nicht die Dringlichkeit erkannt, die Probleme anzugehen, die emotional reaktive KI mit sich bringt. Während China mit seinen Vorschriften einen großangelegten Test technischer Interventionen durchführt, bleibt abzuwarten, ob US-Politiker bereit sind, von diesem Experiment zu lernen und proaktive Maßnahmen zu ergreifen, um ähnliche Tragödien zu verhindern.
