Kaliforniens Veto gegen das KI-Gesetz: Eine verpasste Chance

Kaliforniens AI-Gesetz abgelehnt

Die Bedenken, dass Systeme der künstlichen Intelligenz (KI) ernsthafte Risiken für die öffentliche Sicherheit darstellen, haben Gesetzgeber und andere politische Entscheidungsträger weltweit dazu veranlasst, Gesetze und andere politische Initiativen vorzuschlagen, um diesen Risiken zu begegnen. Eine mutige Initiative in diesem Zusammenhang war die Verabschiedung des Gesetzes SB 1047, des „Safe and Secure Innovation for Frontier Artificial Intelligence Models Act“, durch die kalifornische Legislative Ende August 2024.

Der Lobbyismus für und gegen SB 1047 war so intensiv, dass Gouverneur Gavin Newsom bemerkte, dass das Gesetz „sein eigenes Wettersystem geschaffen“ hatte. Letztendlich lehnte der Gouverneur das Gesetz aus Gründen ab, die im Folgenden erläutert werden. Nach einem kurzen Überblick über die Hauptmerkmale von SB 1047 werden wesentliche Unterschiede zwischen SB 1047 und dem AI-Gesetz der EU aufgezeigt, wichtige Befürworter und Gegner von SB 1047 identifiziert und die Argumente für und gegen dieses Gesetz diskutiert. Außerdem werden die Gründe von Gouverneur Newsom für die Ablehnung der Gesetzgebung erläutert und die Frage erörtert, ob nationale oder staatliche Regierungen entscheiden sollten, welche KI-Regulierungen notwendig sind, um eine sichere Entwicklung und Bereitstellung von KI-Technologien zu gewährleisten.

Wesentliche Merkmale von SB 1047

Unter SB 1047 wären Entwickler von sehr großen Grenzmodellen (definiert als Modelle, die auf Rechenleistung von mehr als 10^26 ganzzahligen oder Gleitkommaberechnungen trainiert wurden oder die zu Beginn des Trainings mehr als 100 Millionen Dollar kosten) und diejenigen, die große Grenzmodelle verfeinern, verantwortlich, sicherzustellen, dass diese Modelle keine „kritischen Schäden“ verursachen.

Das Gesetz identifiziert vier Kategorien kritischer Schäden:

• Schaffung oder Nutzung von chemischen, biologischen, radiologischen oder nuklearen Waffen, die Massenopfer verursachen;
• Massenopfer oder Schäden von mehr als 500 Millionen Dollar aufgrund von Cyberangriffen auf kritische Infrastruktur;
• Massenopfer oder Schäden von mehr als 500 Millionen Dollar, die zu Verletzungen oder Sachschäden führen, die ein Verbrechen darstellen würden, wenn Menschen dies tun würden;
• Andere vergleichbar schwerwiegende Schäden für die öffentliche Sicherheit und Sicherheit.

Nach diesem Gesetz wären Entwickler großer Grenzmodelle verpflichtet, zahlreiche Schritte in drei Entwicklungsphasen zu unternehmen: einige vor dem Training, einige vor der Nutzung eines solchen Modells oder der Bereitstellung und einige während der Nutzung der abgedeckten Modelle. Zu den erforderlichen Schritten würde gehören, einen „Kill Switch“ in der Vortrainingsphase zu installieren, angemessene Maßnahmen zu ergreifen, um zu verhindern, dass Modelle unangemessene Risiken darstellen, und redigierte Kopien der Sicherheits- und Sicherheitsprotokolle der Entwickler zu veröffentlichen.

Entwickler wären auch verpflichtet, unabhängige Dritte zu beauftragen, um die Einhaltung der gesetzlichen Anforderungen zu gewährleisten. Außerdem wären sie verpflichtet, diese Prüfungen und eine Erklärung zur Einhaltung jährlich bei einer staatlichen Behörde einzureichen. Entwickler wären ferner verantwortlich für die Meldung eines Sicherheitsvorfalls, von dem sie Kenntnis erlangen, innerhalb von 72 Stunden an diese Behörde.

Die Gesetzgebung ermächtigte den Generalstaatsanwalt von Kalifornien, Klagen gegen Entwickler von Grenzmodellen einzureichen, die gegen die Anforderungen des Gesetzes verstoßen, und Strafen von bis zu 10 % der anfänglichen Entwicklungskosten für einen ersten Verstoß und bis zu 30 % der Entwicklungskosten für nachfolgende Verstöße zu verlangen. Whistleblower, die auf unangemessene Risiken hinweisen, die Grenzmodelle für kritische Schäden darstellen, wären vor Vergeltungsmaßnahmen geschützt.

Vergleich von SB 1047 mit dem EU-AI-Gesetz

SB 1047 und das AI-Gesetz der Europäischen Union konzentrieren sich beide auf Sicherheitsprobleme, die durch fortschrittliche KI-Systeme verursacht werden, und auf die Risiken, die KI-Systeme für die Gesellschaft darstellen könnten. Beide erfordern die Entwicklung von Sicherheitsprotokollen, Tests vor der Bereitstellung, um sicherzustellen, dass Systeme sicher und geschützt sind, sowie Berichtspflichten, einschließlich Audits durch unabhängige Dritte und Einhaltungsberichte. Beide würden erhebliche Geldstrafen für die Nichteinhaltung der Sicherheitsanforderungen durch die Entwickler verhängen.

Es gibt jedoch erhebliche Unterschiede zwischen SB 1047 und dem EU-AI-Gesetz. Erstens konzentrierte sich SB 1047 in erster Linie auf die Entwickler großer Grenzmodelle und nicht auf die Betreiber. Zweitens fokussierte das kalifornische Gesetz sekundär auf diejenigen, die große Grenzmodelle verfeinern, und nicht nur auf die ursprünglichen Entwickler. Das AI-Gesetz behandelt das Verfeinern nicht.

Drittens würde SB 1047 die Entwickler verpflichten, einen „Kill Switch“ zu installieren, damit die Modelle abgeschaltet werden können, wenn die Risiken kritischer Schäden zu groß sind. Das EU-AI-Gesetz sieht dies nicht vor. Viertens ging das kalifornische Gesetz davon aus, dass die größten Modelle die größten Risiken für die Gesellschaft darstellen, während das AI-Gesetz nicht auf die Modellgröße fokussiert. Fünftens war SB 1047 darauf ausgelegt, gegen vier spezifische Arten kritischer Schäden zu schützen, während das AI-Gesetz der EU ein breiteres Konzept von Schäden und Risiken hat, die KI-Entwickler und -Betreiber vermeiden sollten.

Befürworter von SB 1047

Anthropic war der prominenteste der KI-Modellentwickler, die SB 1047 unterstützten. (Ihre Unterstützung kam, nachdem das Gesetz geändert wurde, um eine strafrechtliche Haftungsbestimmung zu streichen und einen „angemessenen Sorgfalts“-Standard anstelle eines „angemessenen Beruhigungs“-Standards für die Sorgfaltspflicht von Entwicklern großer Grenzmodelle zu übernehmen.) 37 Mitarbeiter führender KI-Entwickler äußerten ebenfalls ihre Unterstützung für SB 1047.

Yoshua Bengio, Geoff Hinton, Stuart Russell, Bin Yu und Larry Lessig gehören zu den prominenten Befürwortern von SB 1047 als „minimal effektive Regulierung“. Sie glauben, dass es sinnvoll ist, die Entwickler fortschrittlicher Grenzmodelle dafür verantwortlich zu machen, kritische Schäden zu verhindern, da diese Entwickler in der besten Position sind, solche Schäden zu verhindern.

Befürworter betrachten SB 1047 als „leichte“ Regulierung, da es nicht versucht, Designentscheidungen zu kontrollieren oder spezifische Protokolle für Entwickler aufzuerlegen. Sie glauben, dass die Öffentlichkeit nicht ausreichend geschützt werden kann, wenn nur böswillige Akteure für schwerwiegende Schäden verantwortlich gemacht werden können.

Das AI Policy Institute berichtete, dass 65 % der Kalifornier SB 1047 unterstützen und mehr als 80 % zustimmen, dass Entwickler fortschrittlicher KI-Systeme Sicherheitsmaßnahmen in den Systemen einbetten und für katastrophale Schäden verantwortlich gemacht werden sollten. Befürworter glauben ferner, dass SB 1047 bedeutende Forschung anstoßen und den Stand der Technik in Bezug auf die Sicherheit und den Schutz von KI-Modellen vorantreiben wird.

Ohne dieses neue Regulierungsregime glauben Befürworter zudem, dass Entwickler, die bereit sind, in Sicherheit und Schutz zu investieren, im Wettbewerb benachteiligt wären gegenüber Unternehmen, die Abstriche bei der Sicherheit und der Sicherheitsgestaltung und -prüfung machen, um schneller auf den Markt zu kommen.

Gegner von SB 1047

Google, Meta und OpenAI sowie Verbände von Technologieunternehmen und auch Marc Andreessen und Ben Horowitz lehnten SB 1047 teilweise ab, weil es sich auf die Entwicklung von Modellen und nicht auf die schädlichen Verwendungen solcher Modelle konzentrierte. Diese Gegner sind besorgt, dass dieses Gesetz die Innovation und die Wettbewerbsfähigkeit Amerikas in der KI-Branche behindern wird.

OpenAI argumentierte, dass SB 1047 stark auf nationale Sicherheitsrisiken und -schäden fokussiert sei und dass es die Aufgabe des US-Kongresses, nicht der kalifornischen Legislative sei, KI-Systeme zu regulieren, um diese Art von Schäden zu adressieren.

Zu den Gegnern von SB 1047 gehören viele KI-Forscher, darunter insbesondere die Professoren Fei-Fei Li von Stanford und Jennifer Chayes von der UC Berkeley. Diese Forscher sind besorgt über die Auswirkungen des Gesetzes auf die Verfügbarkeit fortschrittlicher offener Modelle und Gewichte, auf denen Forscher aufbauen möchten.

Der Bürgermeister von San Francisco, London Breed, sowie die Kongressabgeordneten Nancy Pelosi und Zoe Lofgren gehörten zu den anderen prominenten Kritikern von SB 1047. Lofgren, die in einem Unterausschuss des Hauses tätig ist, der sich mit Fragen der Wissenschaft und Technologie befasst, schrieb einen besonders eindringlichen Brief an Gouverneur Newsom, in dem sie ihre Gründe für die Ablehnung des Gesetzes darlegte. Unter anderem sagte Lofgren, dass KI-Regulierungen auf nachgewiesenen Schäden (wie Deep Fakes, Desinformation und Diskriminierung) basieren sollten, nicht auf hypothetischen (wie denen, für die möglicherweise Kill Switches benötigt werden).

Die Wissenschaft der KI-Sicherheit befindet sich, wie Lofgren anmerkte, noch in einem frühen Stadium. Die technischen Anforderungen, die SB 1047 den Entwicklern großer Grenzmodelle auferlegen würde, sind daher verfrüht. Während das National Institute of Standards and Technology darauf abzielt, benötigte Sicherheitsprotokolle und Testverfahren zu entwickeln, sind diese Maßnahmen noch nicht in Kraft. Auch die freiwilligen Branchenleitfäden sind noch nicht vollständig entwickelt.

Lofgren stellte auch die Anforderung des „Kill Switch“ in Frage. Obwohl dies theoretisch sinnvoll erscheinen mag, würde eine solche Anforderung die Entwicklung von Ökosystemen rund um offene Modelle untergraben. Sie stimmte einem Bericht der National Telecommunications and Information Administration zu, dass es nicht genügend Beweise für erhöhte Risiken durch offene Modelle gibt, um deren Verbot zu rechtfertigen.

Lofgren äußerte auch Bedenken hinsichtlich des Innovationsarbitrage. Wenn Kalifornien die KI-Branche zu stark oder unangemessen reguliert, könnte es seine frühzeitige Führungsrolle in diesem neuartigen Sektor verlieren. Und die Wettbewerbsfähigkeit der USA würde beeinträchtigt.

Reaktionen von Gouverneur Newsom

Gouverneur Gavin Newsom gab eine Erklärung ab, in der er seine Gründe für die Ablehnung von SB 1047 erläuterte. Er wies darauf hin, dass Kalifornien die Heimat von 32 der weltweit führenden KI-Unternehmen ist. Er befürchtete, dass dieses Gesetz die Innovation in Kaliforniens KI-Branchen schädigen würde. Die Regulierung sollte seiner Meinung nach auf empirischen Beweisen und Wissenschaft basieren.

Newsom stellte in Frage, ob die Kosten und die Menge an Rechenleistung, die für das Training von KI-Modellen erforderlich sind, der richtige regulatorische Schwellenwert sind. Er schlug vor, dass es besser sein könnte, Risiken auf der Grundlage der Ökosysteme zu bewerten, in denen KI-Systeme eingesetzt werden, oder auf der Grundlage der Verwendung sensibler Daten. Er warnte, dass der Fokus des Gesetzes auf sehr großen Modellen der Öffentlichkeit ein falsches Sicherheitsgefühl vermitteln könnte, da kleinere Modelle ebenso oder sogar gefährlicher sein könnten als die, die SB 1047 regulieren würde.

Während er die Notwendigkeit von KI-Regulierungen zur Sicherung der Öffentlichkeit anerkennt, stellte Newsom fest, dass die KI-Technologiebranche noch in einem frühen Stadium ist und die Vorschriften ausgewogen und anpassungsfähig sein müssen, während sich die Branche weiterentwickelt.

Der Gouverneur stimmte den Sponsoren von SB 1047 zu, dass es unklug wäre, auf eine Katastrophe zu warten, um die Öffentlichkeit vor KI-Risiken zu schützen, und dass KI-Unternehmen für Schäden, zu denen sie beigetragen haben, zur Verantwortung gezogen werden sollten. Aber SB 1047 war seiner Meinung nach einfach nicht das richtige Gesetz zur richtigen Zeit für Kalifornien.

Um sein Engagement für die Gewährleistung der richtigen Aufmerksamkeit für die öffentliche Sicherheit zu demonstrieren, ernannte Gouverneur Newsom ein Expertengremium von Vordenkern, um ihn weiter zu beraten, wie Kalifornien das empfindliche politische Gleichgewicht zwischen der Förderung des Wachstums von KI-Industrien und Forschungscommunities und dem Schutz der Öffentlichkeit vor unangemessenen Risiken erreichen kann. Zu diesem Gremium gehören Fei-Fei Li und Jennifer Chayes sowie Tino Cuellar, ein ehemaliger Professor an der Stanford Law School, ein ehemaliger Richter am Obersten Gerichtshof von Kalifornien und derzeitiger Geschäftsführer des Carnegie Institute for Peace.

Trotz der Ablehnung von SB 1047 unterzeichnete der Gouverneur in diesem Jahr 19 andere KI-bezogene Gesetze, die von der kalifornischen Legislative verabschiedet wurden. Zwei davon regulieren Deep Fakes, eines verpflichtet Entwickler zur Offenlegung von Informationen über KI-Trainingsdaten, und eines verlangt Provenienzdaten für KI-generierte Ausgaben.

Fazit

Die Sponsoren von SB 1047 scheinen sorgfältig auf die Warnungen einiger prominenter Informatiker gehört und diese ernst genommen zu haben, die tief besorgt über KI-Systeme sind, die kritische Schäden für die Menschheit verursachen könnten. Es gibt jedoch keinen Konsens unter den Wissenschaftlern über die Risiken der öffentlichen Sicherheit durch KI.

Bedenken, dass fortschrittliche KI-Systeme, wie HAL in 2001: Odyssee im Weltraum, die Kontrolle übernehmen und Menschen nicht mehr aufhalten können, weil ihre Entwickler versäumt haben, Kill Switches zu installieren, scheinen unplausibel. Die Gesetzgebung zur Regulierung von KI-Technologien sollte auf empirischen Beweisen für tatsächliche oder drohende Schäden basieren, nicht auf Vermutungen.

In jedem Fall sollte die Regulierung von KI-Systemen, die Risiken für die nationale Sicherheit darstellen, optimal auf nationaler Ebene und nicht auf staatlicher Ebene erfolgen. Aber die Trump-Administration ist weniger wahrscheinlich als die Biden-Administration, sich auf systematische Risiken der KI zu konzentrieren, sodass der Bundesstaat Kalifornien möglicherweise den Weg weisen sollte, um ein regulatorisches Regime zur Adressierung dieser Risiken zu formulieren.