Neues Moratorium für Spielzeug mit Chatbots wirft Fragen zur Chatbot-Regulierung auf
Im Zuge einer Reihe von Klagen gegen KI-Unternehmen bezüglich der möglichen Beteiligung ihrer Plattformen an der Förderung von Suizid und anderen kriminellen Verhaltensweisen hat ein Senator ein Gesetz vorgeschlagen, das den Verkauf, Austausch und Besitz von Spielzeugen mit Begleit-Chatbots in Kalifornien bis zum 1. Januar 2031 verbietet. Ein „Spielzeug“ wird definiert als ein Produkt, das vom Hersteller für Kinder im Alter von 12 Jahren oder jünger zum Spielen bestimmt ist.
Regulierung von Begleit-Chatbots
Diese Entwicklung wirft die Frage auf, ob ein Moratorium für ein Produkt oder eine Dienstleistung, die missbraucht werden kann, eine effektive Strategie zur Regulierung darstellt. Kalifornien und New York haben bereits Gesetze zur Regulierung von Begleit-Chatbots verabschiedet.
Das kalifornische Gesetz SB 243, das am 1. Januar 2026 in Kraft trat, erfordert:
- Eine eindeutige Benachrichtigung, dass der Nutzer mit einem Bot und nicht mit einem Menschen interagiert.
- Die Interaktion mit dem Begleit-Chatbot darf nur stattfinden, wenn ein Protokoll zur Verhinderung von suizidalen Gedanken und selbstverletzendem Verhalten vorhanden ist. Hierzu gehört unter anderem eine Benachrichtigung, die den Nutzer an einen Krisendienstleister verweist.
- Für Minderjährige wird zudem alle drei Stunden daran erinnert, eine Pause einzulegen und dass der Begleiter kein Mensch ist.
- Es müssen angemessene Maßnahmen ergriffen werden, um zu verhindern, dass der Begleit-Chatbot visuelles Material mit sexuell explizitem Inhalt produziert oder direkt aussagt, dass der Minderjährige sich sexuell explizit verhalten soll.
Ab 2027 wird zudem eine jährliche Berichtspflicht an das kalifornische Büro für Suizidprävention (OSP) eingeführt.
Ähnliche Regelungen in New York
Das AI Companion Law in New York enthält ähnliche Anforderungen, die darauf abzielen, suizidale Gedanken oder selbstverletzendes Verhalten, das von einem Nutzer gegenüber dem KI-Begleiter geäußert wird, zu erkennen und darauf zu reagieren. Auch hier wird alle drei Stunden an den Nutzer erinnert, eine Pause einzulegen, wobei diese Regelung nicht nur für Minderjährige gilt.
Während das Gesetz in New York durch den Generalstaatsanwalt durchgesetzt werden kann, erlaubt das kalifornische Gesetz eine private Klage.
