KI-Governance: Transparenz, Ethik und Risikomanagement im Zeitalter der KI

german

Welche grundlegenden Prinzipien leiten die Entwicklung des Verhaltenskodex und wie beeinflussen sie seine Struktur und seinen Inhalt?

Der Verhaltenskodex für allgemeine KI zielt darauf ab, die Entwicklung und den Einsatz von KI-Modellen im Rahmen des EU-KI-Gesetzes zu leiten. Hier ist eine Aufschlüsselung der Kernprinzipien, die seine Struktur und seinen Inhalt prägen:

Übereinstimmung mit den EU-Werten

Der Kodex priorisiert die Einhaltung der Kernprinzipien und -werte der EU und gewährleistet die Übereinstimmung mit der Charta der Grundrechte, dem Vertrag über die Europäische Union und dem Vertrag über die Arbeitsweise der Europäischen Union.

KI-Gesetz und internationale Harmonisierung

Der Kodex erleichtert die ordnungsgemäße Anwendung des KI-Gesetzes und berücksichtigt gleichzeitig internationale Ansätze, einschließlich Standards und Metriken, die von KI-Sicherheitsinstituten und Normungsorganisationen gemäß Artikel 56 Absatz 1 des KI-Gesetzes entwickelt wurden.

Verhältnismäßigkeit zu Risiken

Der Kodex koppelt die Strenge der Verpflichtungen und Maßnahmen an den Grad des Risikos und fordert strengere Maßnahmen, wenn höhere Risikostufen oder das Potenzial für schwere Schäden bestehen. Zu den spezifischen Strategien gehören:

• Gezielte Maßnahmen: Konzentration auf spezifische, umsetzbare Maßnahmen anstelle von breiten, weniger definierten Proxies.
• Risikodifferenzierung: Anpassung der Risikobewertung und -minderungsstrategien an verschiedene Risikotypen, Einsatzszenarien und Verteilungsmethoden. Die Minderung systemischer Risiken könnte beispielsweise zwischen vorsätzlichen und unbeabsichtigten Risiken unterscheiden.
• Dynamische Aktualisierungen: Bezugnahme auf dynamische Informationsquellen, von denen erwartet werden kann, dass Anbieter sie bei ihrer Risikobewertung und -minderung überwachen, einschließlich Vorfalldatenbanken, Konsensstandards, aktuellen Risikoregistern, modernsten Risikomanagement-Frameworks und Leitlinien des KI-Büros.

Zukunftssicherheit

In Anbetracht des rasanten technologischen Fortschritts zielt der Kodex darauf ab, relevant zu bleiben, indem er:

• Schnelle Aktualisierungen ermöglicht: Ermöglicht eine rasche Anpassung und Aktualisierung, um technologische und branchenspezifische Entwicklungen widerzuspiegeln.
• Dynamische Informationen referenziert: Verweist auf dynamische Informationsquellen für die Risikobewertung und -minderung, wie z. B. modernste Risikomanagement-Frameworks.
• Neue Modelle berücksichtigt: Zusätzliche Maßnahmen für bestimmte KI-Modelle für allgemeine Zwecke, einschließlich solcher, die in agentenbasierten KI-Systemen verwendet werden, in Betracht zieht.

KMU-Unterstützung

Der Kodex berücksichtigt die besonderen Herausforderungen, vor denen kleine und mittlere Unternehmen (KMU) und Start-ups stehen, und berücksichtigt ihre Einschränkungen. Die Maßnahmen sollen vereinfachte Compliance-Methoden für KMU ermöglichen, denen die Ressourcen großer KI-Entwickler fehlen.

Ökosystem-Unterstützung

Der Kodex fördert die Zusammenarbeit und den Wissensaustausch zwischen den Beteiligten durch:

• Austausch von Ressourcen: Ermöglichen des Austauschs von KI-Sicherheitsinfrastruktur und Best Practices zwischen Modellanbietern.
• Einbeziehung der Interessengruppen: Förderung der Beteiligung von Zivilgesellschaft, Wissenschaft, Dritten und Regierungsorganisationen.

Innovation in Governance und Risikomanagement

Der Kodex fördert Innovationen, indem er Fortschritte in der KI-Sicherheits-Governance und der Evidenzsammlung anerkennt. Alternative Ansätze zur KI-Sicherheit, die gleiche oder bessere Ergebnisse mit geringerer Belastung aufzeigen, sollten anerkannt und unterstützt werden.

german

Wie sollten Anbieter von Allzweck-KI-Modellen mit systemischem Risiko ein Sicherheitsrahmenwerk definieren und implementieren?

Für Anbieter von Allzweck-KI-Modellen mit systemischem Risiko (GPAISRs) ist die Einrichtung eines robusten Sicherheitsrahmenwerks von grösster Bedeutung für die Einhaltung von Vorschriften wie dem KI-Gesetz. Dieses Rahmenwerk ist nicht nur eine Reihe von Richtlinien, sondern ein dynamisches System, das entwickelt wurde, um Risiken im Zusammenhang mit potenziell gefährlichen KI-Modellen zu bewerten, zu mindern und zu steuern.

Kernkomponenten des Rahmenwerks

Das Rahmenwerk sollte die systemische Risikobewertung, -minderung und -steuerung im Detail darlegen, die dazu bestimmt sind, die von den GPAISRs ausgehenden systemischen Risiken innerhalb akzeptabler Grenzen zu halten. Das Rahmenwerk muss die folgenden Komponenten enthalten:

• Akzeptanzkriterien für systemische Risiken: Vordefinierte Benchmarks zur Feststellung, ob systemische Risiken akzeptabel sind. Diese Kriterien sollten:
  • Für jedes identifizierte systemische Risiko definiert werden.
  • Messbare systemische Risikostufen umfassen.
  • Unakzeptable Risikostufen angeben, insbesondere ohne Risikominderung.
  • Mit den Best Practices internationaler Gremien oder den Leitlinien des KI-Büros übereinstimmen.
• Verfahren zur Bewertung und Minderung systemischer Risiken: Darlegen, wie das Unternehmen Risiken systematisch an verschiedenen Punkten des Modelllebenszyklus bewertet, insbesondere vor der Bereitstellung.
• Prognose: Für jede systemische Risikostufe, die von bestimmten Modellfähigkeiten abhängt, Schätzungen der Zeitpläne angeben, wann sie vernünftigerweise davon ausgehen, erstmals ein GPAISR entwickelt zu haben, das über solche Fähigkeiten verfügt, falls solche Fähigkeiten noch nicht von Modellen des Unterzeichners vorhanden sind, die bereits auf dem Markt verfügbar sind, um die Vorbereitung angemessener systemischer Risikominderungen zu erleichtern.
• Technische Minderung systemischer Risiken: Die Unterzeichner dokumentieren im Rahmenwerk die technischen systemischen Risikominderungen, einschliesslich Sicherheitsminderungen, die dazu bestimmt sind, das mit der jeweiligen systemischen Risikostufe verbundene systemische Risiko zu reduzieren.
• Minderungen von Governance-Risiken: Einzelheiten zu Governance-Strukturen, Aufsichtsmechanismen und Verantwortlichkeitsrahmen für das Management systemischer Risiken.

Praktische Umsetzung und Berichterstattung

Die Implementierung des Rahmenwerks umfasst einen kontinuierlichen Prozess der Bewertung, Anpassung und Berichterstattung. Zu den wichtigsten Überlegungen gehören:

• Regelmässige Angemessenheitsbewertungen: Feststellen, ob das Rahmenwerk selbst wirksam ist, um systemische Risiken zu bewerten und zu mindern.
• Sicherheits- und Sicherheitsmodellberichte: Diese Berichte sollten die Ergebnisse der Risikobewertung, die Minderungsstrategien und die Begründungen für Bereitstellungsentscheidungen dokumentieren, die dem KI-Büro vorgelegt werden.
• Transparenz und externer Input: Das Rahmenwerk sollte bei seinen Entscheidungen im Zusammenhang mit systemischen Risiken den Input externer Akteure berücksichtigen.
• Meldung schwerwiegender Vorfälle:Implementierung von Prozessen zur Verfolgung, Dokumentation und Meldung relevanter Informationen über schwerwiegende Vorfälle während des gesamten Modelllebenszyklus und möglicher Korrekturmassnahmen zu deren Behebung an das KI-Büro, wobei diese Prozesse im Verhältnis zum Schweregrad des schwerwiegenden Vorfalls und dem Grad der Beteiligung des Modells angemessen ausgestattet werden.
• Öffentliche Transparenz: Veröffentlichung von Informationen, die für das öffentliche Verständnis der von ihren GPAISRs ausgehenden systemischen Risiken relevant sind, wo dies erforderlich ist, um die Bewertung und Minderung systemischer Risiken wirksam zu ermöglichen.

Herausforderungen und Nuancen

Die Navigation in dieser Landschaft erfordert die sorgfältige Berücksichtigung mehrerer Faktoren:

• Verhältnismässigkeit: Die Risikobewertung und -minderung sollten in einem angemessenen Verhältnis zu den spezifischen Risiken stehen, die das Modell birgt.
• Auf dem neuesten Stand der Technik bleiben: Implementierung modernster technischer Sicherheitsminderungen, die unzumutbare systemische Risiken optimal mindern, einschliesslich allgemeiner Cybersicherheits-Best-Practices, um zumindest das Sicherheitsziel RAND SL3 zu erreichen.
• Zusammenarbeit: Der Austausch von Tools, Praktiken und Bewertungen mit anderen Organisationen kann die allgemeine Sicherheit verbessern und Doppelarbeit vermeiden.
• Multidisziplinäre Modellbewertungsteams: Sicherstellen, dass alle Modellbewertungsteams über das Fachwissen verfügen, um zur Modellbewertung für die Bewertung systemischer Risiken beizutragen.

Ethische Überlegungen

Schliesslich DÜRFEN Anbieter keine Vergeltungsmassnahmen gegen Mitarbeiter ergreifen, die Informationen über systemische Risiken, die von den GPAISRs der Unterzeichner ausgehen, an das KI-Büro oder gegebenenfalls an die zuständigen nationalen Behörden weitergeben, und die Mitarbeiter mindestens jährlich über eine vom KI-Büro eingerichtete Mailbox informieren, die für den Empfang solcher Informationen bestimmt ist, falls eine solche Mailbox existiert.

Welche entscheidenden Schritte gibt es zur Identifizierung, Analyse und Minderung systemischer Risiken während des gesamten Lebenszyklus von KI-Modellen für allgemeine Zwecke?

Der von der EU vorgeschlagene KI-Verhaltenskodex, der die Einhaltung des KI-Gesetzes leiten soll, betont einen systematischen Ansatz zur Steuerung systemischer Risiken im Zusammenhang mit KI-Modellen für allgemeine Zwecke (GPAISRs). Hier ist eine Aufschlüsselung der wichtigsten Schritte, zugeschnitten auf Fachkräfte für KI-Governance:

1. Einrichtung eines Sicherheitsrahmens

Anbieter von GPAISRs müssen einen umfassenden Sicherheitsrahmen einführen und implementieren. Dieser Rahmen sollte die Bewertung systemischer Risiken, Strategien zur Risikominderung und Governance-Maßnahmen detailliert beschreiben, die darauf ausgelegt sind, Risiken in einem akzeptablen Rahmen zu halten. Zu den wichtigsten Komponenten des Rahmens gehören:

• Akzeptanzkriterien für systemische Risiken: Klar definierte und begründete Kriterien zur Bestimmung der Akzeptabilität systemischer Risiken, einschließlich messbarer Risikostufen.
• Risikominderungspläne: Detaillierte Beschreibungen technischer Risikominderungsmaßnahmen, ihrer Grenzen und Notfallpläne für Szenarien, in denen Risikominderungsmaßnahmen scheitern.

2. Bewertung und Minderung systemischer Risiken (während des gesamten Lebenszyklus)

Führen Sie zu geeigneten Zeitpunkten während des gesamten Modelllebenszyklus, beginnend mit der Entwicklung, Bewertungen systemischer Risiken durch. Dieser Prozess umfasst mehrere wichtige Aktivitäten:

• Entwicklungsplanung: Implementieren Sie einen Rahmen und beginnen Sie mit der Bewertung/Minderung von Risiken bei der Planung eines GPAISR oder spätestens 4 Wochen nach Benachrichtigung des KI-Büros.
• Meilenstein-Überprüfungen: Bewerten und mindern Sie Risiken bei dokumentierten Meilensteinen während der Entwicklung, z. B. nach dem Feinabstimmen, Erweitern des Zugriffs oder Gewähren neuer Möglichkeiten. Implementieren Sie Verfahren, um wesentliche Risikoänderungen schnell zu identifizieren.

3. Identifizierung systemischer Risiken

Wählen Sie systemische Risiken aus, die von GPAISRs ausgehen und bedeutend genug sind, um eine weitere Bewertung und Minderung zu rechtfertigen, und charakterisieren Sie diese weiter. Zu den wichtigsten Überlegungen gehören:

• Einhaltung der Taxonomie: Auswahl von Risiken aus einer definierten Taxonomie systemischer Risiken (z. B. Cyber-Angriffe, CBRN-Risiken, schädliche Manipulation).
• Szenarioplanung: Entwickeln Sie Szenarien für systemische Risiken, um die Art und die Quellen zu charakterisieren. Diese sollten potenzielle Schadenswege und vernünftigerweise vorhersehbare Fehlverwendungen umfassen.

4. Analyse systemischer Risiken

Führen Sie eine strenge Analyse der identifizierten systemischen Risiken durch und schätzen Sie deren Schwere und Wahrscheinlichkeit ab. Die Analyse sollte mehrere Quellen und Methoden nutzen:

• Quantitative und qualitative Schätzungen: Verwenden Sie gegebenenfalls quantitative und qualitative Risikoschätzungen zusammen mit Indikatoren für systemische Risiken, um den Fortschritt in Richtung Risikostufen zu verfolgen.
• State-of-the-Art-Bewertungen: Führen Sie Bewertungen durch, um die Fähigkeiten, Neigungen und Auswirkungen von GPAISRs angemessen zu beurteilen, und verwenden Sie dabei eine breite Palette von Methoden (z. B. Red Teaming, Benchmarks).
• Modellunabhängige Informationen: Sammeln Sie Erkenntnisse aus Literaturrecherchen, historischen Vorfalldaten und Expertenkonsultationen.

5. Feststellung der Risikoakzeptanz

Vergleichen Sie die Ergebnisse der Analyse systemischer Risiken mit vordefinierten Kriterien für die Risikoakzeptanz, um die Verhältnismäßigkeit sicherzustellen. Verwenden Sie diese Vergleiche, um Entscheidungen über Entwicklung, Markteinführung und Nutzung zu treffen. Wenn Risiken als inakzeptabel erachtet werden:

• Implementieren Sie zusätzliche Risikominderungsmaßnahmen: Oder stellen Sie ein Modell gegebenenfalls nicht auf dem Markt zur Verfügung.
• Beschränken Sie das Marketing: Ziehen Sie ein Modell gegebenenfalls vom Markt zurück oder rufen Sie es zurück.

6. Sicherheitsmaßnahmen (Technisch)

Implementieren Sie modernste technische Sicherheitsmaßnahmen, die in einem angemessenen Verhältnis zu systemischen Risiken stehen, wie z. B.: Filtern von Trainingsdaten, Überwachen von Ein- und Ausgaben, Feinabstimmung zur Ablehnung bestimmter Anfragen und Implementieren von Schutzmaßnahmen/Sicherheitstools.
Insbesondere:

• Implementieren Sie allgemeine Cybersecurity Best Practices.
• Implementieren Sie Verfahren zur Bewertung und Prüfung ihrer Sicherheitsbereitschaft gegen potenzielle und tatsächliche Angreifer. Dazu gehören Tools wie regelmäßige Sicherheitsüberprüfungen und Bug-Bounty-Programme.

7. Governance und Dokumentation

Mehrere Governance-Maßnahmen sind entscheidend für eine effektive Steuerung und Überwachung des Prozesses:

• Klare Verantwortungszuweisung: Definieren und weisen Sie die Verantwortung für das Management systemischer Risiken über alle Organisationsebenen hinweg zu.
• Unabhängige externe Bewertungen: Holen Sie vor dem Inverkehrbringen unabhängige externe Bewertungen von GPAISRs ein.
• Meldung schwerwiegender Vorfälle: Richten Sie Prozesse ein, um schwerwiegende Vorfälle zu verfolgen, zu dokumentieren und dem KI-Büro unverzüglich zu melden.
• Modellberichte: Erstellen Sie detaillierte Sicherheitsmodellberichte, in denen Risikobewertungen, Risikominderungsmaßnahmen und Begründungen für die Markteinführung dokumentiert werden.
• Öffentliche Transparenz: Veröffentlichen Sie Informationen, die für das öffentliche Verständnis systemischer Risiken relevant sind.

Durch die konsequente Befolgung dieser Schritte können Organisationen die komplexe Landschaft der KI-Governance besser bewältigen und ein verantwortungsvolleres und vertrauenswürdigeres KI-Ökosystem fördern.

german

Welche Kernprinzipien sollten die Implementierung von Werkzeugen und Best Practices für modernste Modellevaluierung und Systemrisikobewertung für alle Modelle leiten?

Der Entwurf des AI Code of Practice der Europäischen Union, der einen Entwurf für die Einhaltung des umfassenden AI Act liefern soll, betont mehrere Kernprinzipien für die Implementierung von modernster Modellevaluierung und Risikobewertung. Diese gelten speziell für General Purpose AI Modelle mit Systemischem Risiko (GPAISR), bieten aber wertvolle Einblicke für die gesamte KI-Entwicklung. Hier ist eine Aufschlüsselung für Legal-Tech-Profis:

EU-Prinzipien und -Werte

Alle Werkzeuge und Praktiken müssen nachweislich mit den in der EU-Gesetzgebung verankerten Grundrechten und -werten, einschließlich der Charta der Grundrechte, übereinstimmen.

Übereinstimmung mit dem AI Act und internationalen Ansätzen

Modellevaluierung und Risikobewertung müssen direkt zur ordnungsgemäßen Anwendung des AI Act beitragen. Dies bedeutet:

• Bezugnahme auf internationale Normen und Metriken, wie sie von AI Safety Institutes entwickelt wurden, in Übereinstimmung mit Artikel 56 Absatz 1 des AI Act.

Verhältnismäßigkeit zu den Risiken

Die Strenge der Evaluations- und Abhilfemaßnahmen muss in direktem Verhältnis zu den identifizierten Risiken stehen. Dieses Prinzip treibt mehrere Schlüsselmaßnahmen an:

• Strengere Maßnahmen für höhere Risikostufen oder unsichere Risiken schwerer Schäden.
• Spezifische Maßnahmen, die klar definieren, wie Anbieter ihren Verpflichtungen nachkommen sollen.
• Differenzierung der Maßnahmen auf der Grundlage von Risikotypen, Vertriebsstrategien, Einsatzkontexten und anderen Faktoren, die die Risikostufen beeinflussen.

Das KI-Büro wird Maßnahmen, die anfällig für Umgehung oder Falschdarstellung sind, proaktiv überwachen.

Zukunftssicherheit

Angesichts der rasanten Entwicklung der KI-Technologie müssen Werkzeuge und Praktiken schnelle Aktualisierungen angesichts technologischer Fortschritte ermöglichen. Dies beinhaltet:

• Bezugnahme auf dynamische Informationsquellen, wie z. B. Vorfalldatenbanken, Konsensstandards, Risikoregister, Risikomanagementrahmen und AI Office Guidance, die Anbieter voraussichtlich überwachen werden.
• Formulierung zusätzlicher Maßnahmen für spezifische GPAI-Modelle (z. B. solche, die in agentischen KI-Systemen verwendet werden), wenn die Technologie dies erfordert.

Verhältnismäßigkeit zur Größe des Anbieters

Die Maßnahmen sollten die Größe und die Ressourcen des Anbieters des KI-Modells berücksichtigen. Der AI Act erkennt den Wert und die Notwendigkeit vereinfachter Compliance-Pfade für kleine und mittlere Unternehmen (KMU) und Startups an.

Unterstützung und Wachstum von sicherer, menschenzentrierter KI

Der Code ist darauf ausgelegt, die Zusammenarbeit zwischen den Beteiligten durch gemeinsame Sicherheitsinfrastruktur und Best Practices zu fördern. Zu den Maßnahmen gehören:

• Austausch von Sicherheitsinfrastruktur und Best Practices
• Förderung der Beteiligung von Zivilgesellschaft, Wissenschaft, Dritten und Regierungsorganisationen.
• Förderung von Transparenz zwischen den Beteiligten und verstärkte Anstrengungen zum Wissensaustausch.

Innovation in der KI-Governance und im Risikomanagement

Der Code ermutigt Anbieter, Innovationen zu entwickeln und den Stand der Technik in der KI-Sicherheits-Governance voranzutreiben. Alternative Ansätze, die gleiche oder bessere Sicherheitsergebnisse demonstrieren, sollten anerkannt und unterstützt werden.

Verpflichtung zu Dokumentation und Transparenz

Unterzeichner des Codes verpflichten sich, eine aktuelle Modelldokumentation zu erstellen und zu pflegen, einschließlich Informationen über den Trainingsprozess und die verwendeten Daten, die öffentlich zugänglich sind.

german

Welche Governance- und Berichtspflichten müssen Anbieter von GPAISRs einhalten, um Rechenschaftspflicht und Transparenz zu gewährleisten?

Der Verhaltenskodex des KI-Gesetzes (AI Act) legt Anbietern von KI-Modellen für allgemeine Zwecke mit Systemrisiko (GPAISRs) erhebliche Governance- und Berichtspflichten auf, um die Rechenschaftspflicht und Transparenz zu fördern. Diese Anforderungen sollen sicherstellen, dass diese Modelle angesichts ihrer hochwirksamen Fähigkeiten verantwortungsvoll entwickelt und eingesetzt werden.

Sicherheits- und Schutzmodellberichte

Eine Kernanforderung ist die Erstellung eines Sicherheits- und Schutzmodellberichts für jeden GPAISR, bevor dieser auf dem Markt verfügbar gemacht wird. Dieser Bericht muss Folgendes dokumentieren:

• Ergebnisse der Bewertung und Minderung von Systemrisiken.
• Begründungen für Entscheidungen zur Freigabe des Modells.

Der Detaillierungsgrad, der im Modellbericht erforderlich ist, sollte dem Grad des Systemrisikos entsprechen, das das Modell birgt. Dies ermöglicht es dem KI-Büro zu verstehen, wie der Anbieter seine Maßnahmen zur Bewertung und Minderung von Systemrisiken umsetzt. Der Bericht sollte Bedingungen definieren, unter denen die Begründungen für die Akzeptanz des Systemrisikos nicht mehr zutreffen würden.

Dokumentation der Compliance und des Risikomanagements

Über den Modellbericht hinaus müssen GPAISRs ihre Compliance mit dem KI-Gesetz und dem Verhaltenskodex sorgfältig dokumentieren. Diese Dokumentation umfasst:

• Schätzung, ob ihr KI-Modell die Klassifizierungsbedingungen für ein GPAISR erfüllt hat.
• Die Methoden zur Identifizierung und Bewältigung systematischer Risiken, insbesondere in Bezug auf die Quellen dieser Risiken.
• Die Einschränkungen und Ungenauigkeiten bei der Prüfung und Validierung systematischer Risiken.
• Die Qualifikationen und das Niveau der internen und externen Modellprüfungsteams.
• Die Begründung, um das Niveau der Systemrisiken als akzeptabel zu rechtfertigen.
• Wie Sicherheits- und Schutzbeschränkungen erfüllt, verwaltet und befolgt werden, sowie die Schritte, die unternommen werden, um die Verfahren zur Überwachung dieser zu entwickeln.

Es ist wichtig, diese Dokumentation für einen Zeitraum von mindestens zwölf Monaten und über die Stilllegung des KI-Modells hinaus aufzubewahren.

Transparenz über das beabsichtigte Modellverhalten

Modellberichte müssen auch das beabsichtigte Verhalten des Modells angeben, zum Beispiel:

• Die Prinzipien, denen das Modell folgen soll.
• Wie das Modell verschiedene Arten von Anweisungen priorisiert.
• Themen, zu denen das Modell Anweisungen ablehnen soll.

Rahmenwerke für Sicherheit und Schutz

Unterzeichner müssen ein Sicherheits- und Schutzrahmenwerk erstellen und pflegen, das die Systemrisikobewertung, -minderung und Governance-Verfahren detailliert beschreibt. Dieses Rahmenwerk muss Kriterien für die Akzeptanz von Systemrisiken enthalten, die:

• Messbar sind.
• Systemrisikostufen definieren, die mit Modellfähigkeiten, schädlichen Ergebnissen und quantitativen Risikoschätzungen verknüpft sind.
• Systemrisikotrigger und -bedingungen identifizieren, die Maßnahmen zur Minderung spezifischer Systemrisiken erfordern.

Rahmenwerke müssen kontinuierlich verbessert, schnell aktualisiert werden und den aktuellen Stand der Technik im Bereich der KI dynamisch widerspiegeln.

Benachrichtigungen an das KI-Büro

GPAISRs sind verpflichtet, dem KI-Büro mehrere Schlüsselereignisse zu melden:

• Wenn ihr KI-Modell für allgemeine Zwecke die Kriterien für die Klassifizierung als GPAISR erfüllt.
• Aktualisierungen ihres Sicherheits- und Schutzrahmenwerks.
• Die Ergebnisse von Angemessenheitsbewertungen.
• Die Veröffentlichung eines Sicherheits- und Schutzmodellberichts.

Solche Benachrichtigungen sind notwendig, um zu beurteilen, ob der Code ordnungsgemäß befolgt wird, und um eine rasche Compliance zu gewährleisten.

Post-Market-Monitoring und Anpassung

Die Governance endet nicht mit Vorabberichten; GPAISRs müssen ein Post-Market-Monitoring durchführen, um reale Daten über die Fähigkeiten und Auswirkungen ihrer Modelle zu sammeln. Wenn es wesentliche Änderungen am System oder an der Systemrisikolandschaft gibt, müssen die Anbieter ihre Modellberichte aktualisieren und gegebenenfalls die Situation neu bewerten, damit das Modell weiterhin den Vorschriften entspricht.

Externe und interne Bewertung

Zusätzlich zur internen Überwachung müssen die Prozesse zur Bewertung von Systemrisiken den Input externer Akteure, einschließlich der Regierung, berücksichtigen.

• Wenn ein GPAISR zur Markteinführung bereit ist, muss das Modell vor der Markteinführung einer externen Bewertung für alle festgestellten Systemrisiken unterzogen werden.
• Nach der Veröffentlichung benötigt ein GPAISR ein Forschungsprogramm, das Modelle mit API-Zugang versorgt. Der Zugang sollte Akademikern und externen Teams gewährt werden, die Arbeiten zur Untersuchung systematischer Risiken und nicht-kommerzieller Aktivitäten durchführen.
• Jegliche Arbeit oder Rückmeldung von Akademikern und den Teams sollte dann verwendet werden, um den Code und die Dokumentation der aktuellen GPAISRs zu aktualisieren.

Unabhängige Bewertung

Externe Gutachter sollten eingesetzt werden, um sicherzustellen, dass Verzerrungen im Prozess berücksichtigt werden. Die Gutachter müssen:

• Über die richtige Fachkenntnis verfügen, um systematische Risiken zu beurteilen und zu validieren.
• Technisch versiert und kompetent in der Durchführung von Modellvalidierungen sein.
• Interne und externe Informationssysteme implementiert haben, die aktiv getestet werden und einen aktuellen Bericht zur Validierung ihrer Integrität vorweisen können.

Schutz vor Vergeltungsmaßnahmen und Risikogovernance

Unterzeichner sind verpflichtet, keinerlei Vergeltungsmaßnahmen gegen Arbeitnehmer zu ergreifen, die Informationen weitergeben oder Bedenken äußern könnten. Sie müssen über eine sichere Infrastruktur in der Praxis verfügen, um die freie Äußerung von Bedenken zu ermöglichen, insbesondere gegenüber dem KI-Büro als Anlaufstelle.

Wie kann eine gesunde Risikokultur in Organisationen gefördert werden, die an der Entwicklung und Bereitstellung von GPAISRs beteiligt sind?

Die Förderung einer gesunden Risikokultur ist entscheidend für Organisationen, die General-Purpose-KI-Modelle mit systemischem Risiko (GPAISRs) entwickeln und einsetzen. Gemäss dem Entwurf des Verhaltenskodex umfasst dies mehrere miteinander verbundene Schritte:

Definition und Zuweisung von Verantwortlichkeiten

Für Aktivitäten im Zusammenhang mit der Bewertung und Minderung des systemischen Risikos ihrer GPAISRs verpflichten sich die Unterzeichner zu Folgendem: (1) klare Definition und Zuweisung von Verantwortlichkeiten für das Management des systemischen Risikos ihrer GPAISRs auf allen Ebenen der Organisation; (2) Zuweisung angemessener Ressourcen an Akteure, denen Verantwortlichkeiten für das Management des systemischen Risikos übertragen wurden; und (3) Förderung einer gesunden Risikokultur.

Insbesondere betont der Kodex klare Definitionen von Verantwortlichkeiten sowie die Zuweisung von Ressourcen auf verschiedenen Ebenen innerhalb der Organisation:

• Risikoüberwachung: Überwachung der Risikobewertungs- und -minderungsaktivitäten der Organisation.
• Risikoverantwortung: Management systemischer Risiken, die von GPAISRs ausgehen.
• Unterstützung und Überwachung: Unterstützung und Überwachung der Risikobewertung und -minderung.
• Qualitätssicherung: Bereitstellung interner (und bei Bedarf externer) Zusicherungen hinsichtlich der Angemessenheit der Aktivitäten im Zusammenhang mit Risikobewertung und -minderung.

Die Verantwortlichkeiten werden zugewiesen an:

• Aufsichtsgremien
• Managementteams
• Operationelle Teams
• Qualitätssicherungsanbieter, seien sie intern oder extern

Ressourcenzuweisung

Darüber hinaus muss die Organisation denjenigen mit Managementverantwortung Ressourcen zuweisen, einschliesslich:

• Humanressourcen
• Finanzielle Mittel
• Zugriff auf Informationen und Wissen
• Rechenressourcen

Förderung eines massvollen und ausgewogenen Ansatzes

Entscheidend ist auch das Verhalten der Führungsebene. Die Unterzeichner fördern eine gesunde Risikokultur und ergreifen Massnahmen, um sicherzustellen, dass Akteure, denen Verantwortlichkeiten für das Management des systemischen Risikos von GPAISRs übertragen wurden (gemäss Massnahme II.10.1), einen massvollen und ausgewogenen Ansatz für das systemische Risiko verfolgen, weder unangemessen risikofreudig, noch risikobewusst, noch risikoscheu sind, je nach dem Grad des systemischen Risikos, das von den GPAISRs der Unterzeichner ausgeht.

Zu den obersten Zielen, die angestrebt werden sollten, gehören ein Arbeitsumfeld mit offener Kommunikation und vernünftigen Anreizen:

• Festlegung des Tons in Bezug auf eine gesunde systemische Risikokultur von oben;
• Ermöglichung einer effektiven Kommunikation und Auseinandersetzung mit Entscheidungen bezüglich des systemischen Risikos;
• Geeignete Anreize, um übermässige systemische Risikobereitschaft zu verhindern, wie z. B. Belohnungen für vorsichtiges Verhalten und interne Kennzeichnung systemischer Risiken;

Idealerweise sollten diese Bemühungen dazu führen, dass sich die Mitarbeiter wohl fühlen, potenzielle Probleme im Zusammenhang mit ihrer Arbeit zu kommunizieren:

• Anonyme Umfragen zeigen, dass die Mitarbeiter über Meldewege informiert sind, Bedenken hinsichtlich systemischer Risiken äussern können, den Rahmen des Unterzeichners verstehen und sich wohl fühlen, sich zu äussern; oder
• Interne Meldewege werden aktiv genutzt und Berichte werden angemessen behandelt.

Was sind die kritischen Anforderungen für die Meldung und Behandlung schwerwiegender Vorfälle im Zusammenhang mit GPAISRs?

Da sich das EU-KI-Gesetz der Durchsetzung nähert, rückt die Meldung von Vorfällen bei KI-Modellen für allgemeine Zwecke mit systemischem Risiko (GPAISRs) in den Fokus. Hier ein Überblick über die wichtigsten Anforderungen, entnommen direkt aus dem neuesten Entwurf des KI-Verhaltenskodex:

Umfassende Vorfallverfolgung

GPAISR-Anbieter müssen robuste Prozesse für die Verfolgung, Dokumentation und Meldung schwerwiegender Vorfälle an das KI-Büro (und möglicherweise an nationale Behörden) ohne unangemessene Verzögerung einrichten. Diese Prozesse benötigen ausreichende Ressourcen, gemessen an der Schwere des Vorfalls und der Beteiligung ihres Modells. Methoden zur Identifizierung schwerwiegender Vorfälle sollten mit ihren Geschäftsmodellen übereinstimmen.

Wesentliche Daten, die zu melden sind

Die Dokumentation muss relevante Details enthalten, darunter:

• Start- und Enddatum (oder bestmögliche Annäherungen)
• Entstandener Schaden und betroffene Parteien
• Die Kette von Ereignissen, die zu dem Vorfall geführt haben
• Die spezifische Modellversion, die beteiligt war
• Beschreibung der Beteiligung des GPAISR
• Beabsichtigte oder ergriffene Maßnahmen
• Empfehlungen für das KI-Büro und die nationalen Behörden
• Eine Ursachenanalyse, die die Ergebnisse und die Einflussfaktoren detailliert beschreibt
• Alle bekannten Beinahe-Unfälle

Eskalations- und Meldefristen

Der Kodex legt je nach Schweregrad strenge Fristen für die Meldung von Vorfällen fest:

• Unterbrechung kritischer Infrastruktur: Unverzügliche Benachrichtigung, spätestens jedoch innerhalb von 2 Tagen
• Schwere Körperverletzung: Unverzügliche Benachrichtigung, spätestens jedoch innerhalb von 10 Tagen
• Verletzungen von Grundrechten, Sach-/Umweltschäden: Unverzügliche Benachrichtigung, spätestens jedoch innerhalb von 15 Tagen
• Cybersicherheitsvorfälle, Modellextraktion: Unverzügliche Benachrichtigung, spätestens jedoch innerhalb von 5 Tagen

Erste Berichte müssen Kerninformationen enthalten. Zwischenberichte, in denen die Fortschritte alle 4 Wochen bis zur Lösung detailliert beschrieben werden, sind erforderlich. Ein umfassender Abschlussbericht ist spätestens 60 Tage nach der Lösung des Vorfalls fällig. Unternehmen müssen außerdem entscheiden, ob sie Einzelberichte oder konsolidierte Berichte einreichen, wenn mehrere Vorfälle auftreten.

Proaktive Dokumentation und Aufbewahrung

Führen Sie eine sorgfältige Dokumentation aller relevanten Daten für mindestens 36 Monate ab dem Datum der Dokumentation oder dem Datum des gemeldeten schwerwiegenden Vorfalls im Zusammenhang mit dem KI-Modell für allgemeine Zwecke, je nachdem, welcher Zeitpunkt später liegt.

Korrekturmaßnahmen

Von den Unterzeichnern wird erwartet, dass sie klar definierte, skalierbare Lösungs- und Kommunikationsprozesse haben. Diese sollten in der Lage sein, bei GPAISR-Vorfällen – oder bei deren Vorhersehbarkeit – die notwendigen technischen Risikominderungsmaßnahmen anzuwenden.

Kurz gesagt, Transparenz und Dokumentation sind der Schlüssel. Diese Maßnahmen zielen darauf ab, die Rechenschaftspflicht in Bezug auf systemische Risiken zu schaffen und gleichzeitig die Zusammenarbeit verschiedener Interessengruppen für die GPAISR-Governance zu fördern.

Welche entscheidenden Aspekte müssen vom Modell gegenüber dem KI-Büro detailliert werden, damit das Modell die Anforderungen des Kodex erfüllt?

Damit KI-Modelle die Anforderungen des Kodex erfüllen, müssen Anbieter dem KI-Büro umfassende Details liefern. Diese umfassen:

Transparenz und Dokumentation

Unterzeichner müssen eine benutzerfreundliche Modelldokumentation bereitstellen, möglicherweise unter Verwendung eines Modelldokumentationsformulars. Dies beinhaltet:

• Allgemeine Modellinformationen (z. B. Modellname, Version, Veröffentlichungsdatum)
• Details zu Modelleigenschaften (Architektur, Eingabe-/Ausgabemodalitäten, Größe)
• Informationen zu Vertriebskanälen und Lizenzierung
• Richtlinien zur akzeptablen Nutzung und beabsichtigte Verwendungszwecke
• Spezifikationen für Trainingsprozesse und verwendete Daten (einschließlich Maßnahmen zur Erkennung schädlicher Inhalte und Verzerrungen).
• Rechenressourcen, die während des Trainings verwendet werden.
• Zusätzliche Informationen für Allzweck-KI-Modelle mit systemischem Risiko, wie z. B. Bewertungsstrategien, Ergebnisse von Adversarial Testing und Details zur Systemarchitektur.

Informationen sollten proaktiv für nachgelagerte KI-Anbieter eingereicht werden, jedoch nur auf Anfrage des KI-Büros und der nationalen zuständigen Behörden, um eine angemessene Rechtsgrundlage und Notwendigkeit sicherzustellen.

Alle geteilten Daten erfordern die strikte Einhaltung von Geheimhaltungsverpflichtungen und Schutz von Geschäftsgeheimnissen, wie in Artikel 78 unterstrichen.

Systemisches Risikomanagement (Anwendbar auf GPAISRs)

Für Modelle, die als systemisches Risiko eingestuft werden, muss ein umfassendes Sicherheits- und Schutzrahmenwerk vorgelegt werden, das Folgendes detailliert beschreibt:

• Kriterien für die Akzeptanz systemischer Risiken, einschließlich Risikostufen, die durch messbare Eigenschaften definiert werden (Modellfähigkeiten, Neigungen, schädliche Ergebnisse).
• Detaillierte systemische Risikobewertungen während des gesamten Modelllebenszyklus.
• Technische und Governance-Risikominderungsmaßnahmen.
• Regelmäßige Angemessenheitsbewertungen des Rahmenwerks, um die Wirksamkeit zu beurteilen und im Laufe der Zeit zu verbessern.
• Sicherheits- und Schutzmodellberichte: Dokumentation der Risikobewertung, der Ergebnisse der Risikominderung und der Entscheidungsfindung. Die Details des Modellberichts sollten die Entscheidungen zur Freigabe des Modells rechtfertigen.

Meldung schwerwiegender Vorfälle

Einrichtung umfassender Prozesse für:

• Verfolgung und Dokumentation relevanter Informationen über schwerwiegende Vorfälle, die Aspekte von Start-/Enddaten des Vorfalls bis hin zu Ursachenanalyse und Korrekturmaßnahmen abdecken.
• Unverzügliche Meldung an das EU-KI-Büro, wobei die Fristen der Schwere des Vorfalls entsprechen müssen.

Transparenz der Prozesse

Das Modell muss Folgendes bereitstellen:

• Eine Beschreibung der Entscheidungsfindung (extern oder intern).
• Qualifikationen, Zugangsstufen und Ressourcen für interne und externe Modellbewertungsteams.
• Zusammenarbeit mit anderen Interessengruppen in der KI-Wertschöpfungskette.
• Angemessenheit und Schutz vor Vergeltungsmaßnahmen für Arbeitnehmer, die dem KI-Büro Feedback geben.

Weitere Compliance-Aspekte

Darüber hinaus müssen mehrere wichtige Benachrichtigungsanforderungen befolgt werden, um sicherzustellen, dass das KI-Büro ausreichende Einblicke in die von dem Unternehmen entwickelten Modelle hat:

• Proaktive Benachrichtigung über qualifizierende Modelle, auch wenn diese für den internen Gebrauch bestimmt sind.
• Zeitnahe Aktualisierungen zu Änderungen des Rahmenwerks und unabhängigen Bewertungen.
• Transparenz bei der Weitergabe von Sicherheitstools und Best Practices an die breitere KI-Community.

Anbieter müssen angemessene Ressourcen für die Verwaltung des systemischen Risikos bereitstellen. Dazu gehört die Gewährleistung einer gesunden Risikokultur mit klaren Verantwortlichkeiten innerhalb der Organisation.

Diese Verpflichtungen werden durch die Umsetzung der Maßnahmen ergänzt, die im Abschnitt Transparenz, Urheberrecht oder Sicherheit in separaten Begleitdokumenten des Kodex enthalten sind.