Was sind die wichtigsten Merkmale der aktuellen Landschaft generativer KI-Systeme?
Da sich generative KI rasant weiterentwickelt, prägen mehrere Schlüsselmerkmale die aktuelle Landschaft und beeinflussen sowohl ihr Potenzial als auch die Herausforderungen, die sie mit sich bringt.
Zentrale technologische Erkenntnisse
Generative KI-Modelle, insbesondere Text-zu-Bild-Systeme (TTI), haben einen bemerkenswerten Fotorealismus erreicht, der es oft selbst Experten schwer macht, KI-generierte Inhalte von von Menschen erstellten Bildern zu unterscheiden. Dieser Qualitätssprung resultiert aus Fortschritten bei Deep-Learning-Techniken und der Fähigkeit, aus riesigen, unbeschrifteten Datensätzen zu lernen. Diese Modelle analysieren Muster in Trainingsdaten, um neue Inhalte mit ähnlichen Eigenschaften zu erzeugen.
Diese Fähigkeit hat jedoch ihren Preis. Das Training dieser fortschrittlichen Modelle erfordert immense Rechenressourcen und den Zugriff auf massive Datensätze. Folglich konzentriert sich die Entwicklung auf einige wenige grosse Technologieunternehmen und gut finanzierte akademische Einrichtungen.
Bedenken hinsichtlich Regulierung und Compliance
Das EU-KI-Gesetz ist die bisher umfassendste Regulierungsinitiative, die sich mit den Risiken von KI-generierten Inhalten befasst. Zu den wichtigsten Anforderungen gehören:
- Maschinenlesbare Wasserzeichen: Alle Ausgaben von generativen KI-Systemen müssen in einem maschinenlesbaren Format gekennzeichnet sein, das als künstlich erzeugt oder manipuliert erkennbar ist. Interoperabilität, Robustheit und Zuverlässigkeit sind wichtige Aspekte.
- Sichtbare Deepfake-Offenlegungen: Anbieter von generativen KI-Systemen, die Bild-, Audio- oder Videoinhalte erstellen oder manipulieren, die einen „Deepfake“ darstellen, müssen ihren künstlichen Ursprung klar offenlegen. Diese Information muss zum Zeitpunkt der ersten Interaktion oder Exposition bereitgestellt werden.
Bei Nichteinhaltung können erhebliche Geldbussen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes verhängt werden. Die Transparenzregeln des KI-Gesetzes treten am 1. August 2026 in Kraft.
Praktische Auswirkungen und Herausforderungen
Trotz der bevorstehenden Vorschriften bleibt die Implementierung von Wasserzeichen begrenzt. Eine Analyse von 50 weit verbreiteten generativen KI-Systemen zeigt mehrere besorgniserregende Trends:
- Inkonsistente Wasserzeichen: Die Implementierung ist inkonsistent und variiert erheblich zwischen verschiedenen Anbietern und Bereitstellungsmethoden.
- Metadaten-Anfälligkeit: Das Einbetten von Metadaten ist der gebräuchlichste Ansatz, aber er ist leicht entfernbar, was seine Wirksamkeit als robustes Kennzeichen untergräbt.
- End-to-End-Systemfokus: Maschinenlesbare Kennzeichnungspraktiken finden sich hauptsächlich in End-to-End-Systemen (Systeme der Kategorie 1) und bei grossen Anbietern (Systeme der Kategorie 2). Dies deutet darauf hin, dass sich grosse Organisationen hauptsächlich mit Datenherkunft oder Urheberrecht befassen, nicht unbedingt mit der Aufdeckung von „Nicht-Wahrheit“.
- Vermeidung sichtbarer Markierungen: Sichtbare Wasserzeichen sind nach wie vor selten, was vor allem auf Bedenken hinsichtlich der Benutzerfreundlichkeit und der potenziellen Auswirkungen auf Geschäftsmodelle zurückzuführen ist. Wenn sie verwendet werden, gelten sie oft für alle generierten Bilder, nicht speziell für Deepfakes, wie es das KI-Gesetz vorschreibt. Die meisten sichtbaren Markierungen können nach Zahlung auch entfernt werden.
Die Implementierung einer angemessenen Offenlegung für Deepfakes stellt eine besondere Herausforderung dar. Sie erfordert ein separates System, wahrscheinlich auf NLP-Basis, um Prompts als Deepfakes zu klassifizieren. Kleinere Organisationen würden dies schwierig und rechenintensiv zu implementieren finden.
Das Ökosystem wird auch von einigen wenigen grossen Akteuren dominiert. Viele Systemanbieter stützen sich auf eine Handvoll Modelle, hauptsächlich von Stability AI, Black Forest Labs und OpenAI. Obwohl diese Modellanbieter bestrebt sind, Wasserzeichen zu integrieren, werden diese Wasserzeichen oft leicht deaktiviert oder nicht konsistent über API-basierte Systeme hinweg angewendet. Hugging Face sollte die Anforderungen an Wasserzeichen für die Open-Source-Modelle durchsetzen, die von ihrer Plattform gehostet werden.
Das KI-Gesetz führt Unklarheiten in Bezug auf die Rollen von Anbietern, Bereitstellern, Modellen und Systemen ein, was die Wirksamkeit der Compliance beeinträchtigen und die Verantwortung über die komplexe generative KI-Lieferkette verteilen kann.
Wie wirken sich die Transparenzpflichten des EU-KI-Gesetzes im Zusammenhang mit Wasserzeichen und Offenlegung für KI-generierte Inhalte aus?
Das EU-KI-Gesetz schreibt die Transparenz für KI-generierte Inhalte durch zwei Schlüsselmaßnahmen vor: Einbettung maschinenlesbarer Kennzeichnungen in KI-generierte Ausgaben und sichtbare Offenlegung des künstlichen Ursprungs von KI-generierten Deepfakes. Die Nichteinhaltung kann erhebliche Geldstrafen nach sich ziehen, bis zu 3 % des weltweiten Jahresumsatzes oder 15 Millionen Euro. Diese Regeln sollen ab dem 1. August 2026 durchgesetzt werden. Es bestehen jedoch weiterhin Herausforderungen in Bezug auf die praktische Anwendung, die Zuweisung von Verantwortlichkeiten innerhalb der Lieferkette für generative KI und präzise Definitionen, wie z. B. die eines „Deepfakes“.
Wesentliche Verpflichtungen gemäß Artikel 50
Artikel 50 des EU-KI-Gesetzes befasst sich speziell mit generativen KI-Systemen und umreißt die folgenden Verpflichtungen:
- Maschinenlesbare Kennzeichnungen: Anbieter von generativen KI-Systemen müssen sicherstellen, dass Ausgaben in einem maschinenlesbaren Format gekennzeichnet sind, das als künstlich erzeugt oder manipuliert erkennbar ist. Technische Lösungen müssen wirksam, interoperabel, robust und zuverlässig sein, unter Berücksichtigung der technischen Machbarkeit und unter Berücksichtigung der Inhaltsart und der Implementierungskosten. Techniken wie Wasserzeichen, Metadaten-Identifizierungen, kryptografische Methoden, Protokollierung und Fingerabdrücke werden als potenzielle Mittel zur Einhaltung der Vorschriften aufgeführt.
- Sichtbare Offenlegung für Deepfakes: Nutzer von generativen KI-Systemen, die Bild-, Audio- oder Videoinhalte erzeugen oder manipulieren, die einen Deepfake darstellen, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Informationen müssen Einzelpersonen bei ihrer ersten Interaktion oder Exposition in klarer und deutlicher Weise zur Verfügung gestellt werden. Dies wird typischerweise als ein direkt eingebettetes sichtbares Wasserzeichen oder Etikett interpretiert und nicht notwendigerweise als eine separate Offenlegungsnachricht.
Während das Gesetz auf KI-Systeme (Apps oder Webtools) abzielt, schreibt es keine direkten Transparenzmaßnahmen für die zugrunde liegenden Modelle vor. Der zweite Entwurf des Verhaltenskodex für GPAI-Modelle fordert jedoch, dass systemische Risikomodelle Wasserzeichen zur Erkennung und Meldung von Vorfällen verwenden.
Praktische Szenarien und Auswirkungen
Um besser zu verstehen, wie diese Vorschriften in der Praxis wirken, betrachten Sie die folgenden gängigen Szenarien für den Einsatz generativer KI:
- End-to-End-integrierte Systeme: Organisationen, die KI-Modelle entwickeln und in ihre Anwendungen integrieren. Diese Einrichtungen fungieren sowohl als Anbieter als auch als Anwender und ermöglichen so eine robuste Wasserzeichenfunktion während der Modellentwicklung. Beispiele sind OpenAI und Adobe.
- Systeme, die über API auf Modelle zugreifen: Systeme, die APIs von großen GPAI-Modellanbietern nutzen. Diese Anbieter müssen sich entweder auf bestehende API-Funktionen verlassen oder eigene Nachbearbeitungsmaßnahmen zur Kennzeichnung und Offenlegung implementieren.
- Open-Source-Systeme, die auf Hugging Face bereitgestellt werden: Systeme, die auf Open-Source-Modellen aufbauen und häufig über Hugging Face bereitgestellt werden. Die Bestimmung der Verantwortung für die Einhaltung des KI-Gesetzes ist in diesen Fällen komplex und kann Hugging Face selbst einbeziehen.
- Systeme, die andere (Open-Source-)Modelle unter ihrer eigenen Marke verwenden: Organisationen, die KI-Modelle unter ihrer eigenen Marke einsetzen und möglicherweise keine zugrunde liegenden Modelle offenlegen. Diese Anbieter unterliegen den vollen Transparenzanforderungen.
Diese unterschiedlichen Szenarien verdeutlichen die Komplexität bei der Zuweisung von Verantwortlichkeiten und der Gewährleistung einer konsistenten Anwendung der Transparenzanforderungen des KI-Gesetzes.
Implementierungsherausforderungen
Die durch das EU-KI-Gesetz geschaffenen Unterscheidungen zwischen Anbietern, Anwendern, Modellen und Systemen schaffen Grauzonen, die einer Klärung bedürfen.
Die Last der Einhaltung der Vorschriften zur maschinenlesbaren Kennzeichnung und zur Offenlegung von Deepfakes kann kleine App- und Website-Entwickler unverhältnismäßig belasten, da größere, besser finanzierte Organisationen in der Regel die Organisationen sind, die die Modelle entwickeln und einsetzen. Die Implementierung maschinenlesbarer Lösungen wäre besser im Modellentwicklungsstadium durchzuführen. Die Durchsetzung von Vorschriften auf der Ebene der Modellentwickler wäre angesichts der relativ geringen Anzahl von Akteuren, die fortschrittliche Bildmodelle entwickeln, einfacher.
german
Welche praktischen Auswirkungen haben die Anforderungen an die Implementierung von Wasserzeichen und die sichtbare Offenlegung für verschiedene Arten von generativen KI-Systemen?
Der EU AI Act schreibt zwei Schlüsselmaßnahmen für die Ergebnisse generativer KI vor: maschinenlesbare Wasserzeichen zur automatischen Erkennung und die sichtbare Offenlegung von KI-generierten Deepfakes. Die Nichteinhaltung kann zu hohen Geldstrafen führen. Bei der praktischen Anwendung bestehen jedoch Unklarheiten hinsichtlich der Verantwortungsverteilung und der Definition von Deepfakes.
Wesentliche Auswirkungen des AI Act:
- Gesetzliche Anforderungen: Ab dem 1. August 2026 müssen alle Ergebnisse generativer KI maschinenlesbare Markierungen aufweisen, und Deepfakes müssen sichtbar als künstlich generiert gekennzeichnet werden.
- Haftungsrisiken: Social-Media-Unternehmen wie Meta könnten im Rahmen des EU Digital Services Act für die Verbreitung von KI-generierten Inhalten haftbar gemacht werden, die gesellschaftliche Risiken bergen. Dies setzt größere Anbieter unter Druck, KI-generierte Inhalte zu kennzeichnen.
- Finanzielles Risiko: Die Nichteinhaltung kann mit Geldstrafen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden.
- Modellkollaps: Die Implementierung strenger Wasserzeichen trägt dazu bei, das Risiko eines Modellkollapses zu mindern, da sich KI-Modelle verschlechtern könnten, wenn sie mit KI-generierten Inhalten trainiert werden.
Die Umsetzung der Transparenzregeln des AI Act unterscheidet sich je nach Szenario für generative KI-Systeme:
Einsatzszenarien und Auswirkungen:
Die Verantwortlichkeiten für Wasserzeichen und Offenlegung lassen sich nicht immer sauber kategorisieren, aber hier ist eine Aufschlüsselung der häufigsten Szenarien:
Szenario 1: End-to-End integrierte Systeme:
- Anbieter, die KI-Systeme entwickeln UND einsetzen (wie OpenAI oder Adobe), können während der Modellentwicklung robuste Wasserzeichen implementieren.
- Viele bieten auch API-Zugang an, ohne unbedingt Wasserzeichenfunktionen zu erweitern, was zu einer inkonsistenten Anwendung in der gesamten Lieferkette führt.
- Social-Media-Giganten in dieser Kategorie müssen auch die Verpflichtungen aus dem EU Digital Services Act und die Möglichkeit, dass GPAI-Modelle als risikoreich eingestuft werden, berücksichtigen.
Szenario 2: Systeme, die API-Modellzugang nutzen:
- Anbieter nutzen APIs von großen GPAI-Modellanbietern und müssen die Transparenzbestimmungen einhalten.
- Sie können sich auf die integrierten Funktionen der Modellanbieter verlassen oder eigene Post-Processing-Maßnahmen implementieren. Das Erstellen einer sichtbaren Kennzeichnungslösung könnte schwierig sein, wenn sie Deepfake-Prompts herausfiltern wollen.
Szenario 3: (Open-Source-)Systeme, die auf Hugging Face bereitgestellt werden:
- Die Open-Source-Modelle, die über die Hugging Face-Plattform bereitgestellt werden, stehen vor Herausforderungen bei der Einhaltung der Vorschriften.
- Die Plattform bietet eine Schnittstelle, hat aber keine Kontrolle über das Modell. Dies erschwert die Feststellung, wer die Verantwortung für die Einhaltung der Vorschriften trägt.
Szenario 4: Systeme, die andere (Open-Source-)Modelle unter ihrer eigenen Marke verwenden:
- Organisationen verwenden KI-Modelle von anderen Organisationen, um ihre eigenen Produkte unter ihrer eigenen Marke ohne ordnungsgemäße Kennzeichnung zu erstellen. Dieses System erschwert die Nachverfolgung der Herkunft der Open-Source-Modelle.
- Dadurch unterliegt ihr Produkt den gleichen Transparenzpflichten, da sie ihr Produkt nun ohne Offenlegung ihrer Quelle einsetzen.
Diese Szenarien verdeutlichen, wie die verschwommenen Grenzen zwischen Entwicklern, Anbietern und Betreibern die Durchsetzung des AI Act erschweren. Automatisierte Methoden zur Überprüfung der Einhaltung der Vorschriften sind unerlässlich, wenn der AI Act in Kraft tritt.
Was waren die Ergebnisse der empirischen Analyse von Wasserzeichen- und Offenlegungspraktiken?
Unsere Analyse von 50 weit verbreiteten generativen KI-Systemen zeigt ein Bild, das noch weit von der vollständigen Einhaltung kommender Vorschriften wie dem EU AI Act entfernt ist. Während das Gesetz maschinenlesbare Kennzeichnungen und sichtbare Offenlegungen für bestimmte KI-generierte Inhalte vorschreibt, ist die Akzeptanz uneinheitlich und die Umsetzung variiert stark.
Wichtigste Erkenntnisse:
- Begrenzte maschinenlesbare Wasserzeichen: Nur eine Minderheit der Anbieter (18 von 50) implementiert derzeit maschinenlesbare Kennzeichnungen, wobei die Einbettung von Metadaten die gängigste, aber leicht entfernbare Technik ist. Versteckte Wasserzeichen, ein robusterer Ansatz, sind seltener.
- End-to-End-Systeme führend bei Wasserzeichen: End-to-End-integrierte Systeme (Kategorie 1), bei denen dieselbe Organisation das Modell und die Schnittstelle entwickelt, implementieren eher maschinenlesbare Kennzeichnungen.
- Sichtbare Offenlegungen sind selten: Sichtbare Wasserzeichen oder Offenlegungen, die KI-generierte Inhalte kennzeichnen, wurden nur in 8 der 50 analysierten Systeme gefunden. Bemerkenswert ist, dass diese oft auf alle generierten Bilder angewendet wurden, nicht nur auf Deep Fakes.
- Herausforderungen bei der Deep-Fake-Erkennung: Die Beschränkung sichtbarer Offenlegungen auf Deep Fakes stellt eine erhebliche Herausforderung dar, insbesondere für kleinere Organisationen, die eine NLP-basierte Prompt-Klassifizierung implementieren müssen.
- Ökosystem wird von wenigen Akteuren dominiert: Systemanbieter verlassen sich oft auf eine Handvoll Basemodelle von Schlüsselakteuren wie Stability AI, Black Forest Labs und OpenAI. Wasserzeichenlösungen, selbst wenn sie von diesen Kernanbietern implementiert werden, werden nicht konsequent auf API-basierte Systeme ausgeweitet.
Implikationen:
Diese Ergebnisse unterstreichen die Notwendigkeit klarerer regulatorischer Leitlinien und robusterer, interoperabler Wasserzeichenlösungen, um eine wirksame Durchsetzung des EU AI Act und ähnlicher Gesetze zu gewährleisten. Die derzeitige Abhängigkeit von leicht entfernbaren Metadaten und die inkonsistente Anwendung von Wasserzeichen in der gesamten generativen KI-Lieferkette geben Anlass zu ernsthaften Bedenken hinsichtlich der Fähigkeit, KI-generierte Inhalte effektiv zu erkennen und zu kennzeichnen.
Regulatorische Bedenken:
Die Definitionen von „Anbieter“ und „Nutzer“ im Zusammenhang mit generativer KI im AI Act bleiben unklar, was zu potenziellen Schlupflöchern und einer ungleichen Verteilung der Compliance-Lasten führt. Kleinere App- und Website-Entwickler tragen möglicherweise eine unverhältnismäßige Last im Vergleich zu den großen, gut finanzierten Modellentwicklern, die für den Kern der Technologie verantwortlich sind.
Umsetzbare Erkenntnisse:
- Priorisierung von robusten Wasserzeichen auf Modellebene: Modellentwickler sollten robuste Wasserzeichen direkt in der Generierungsphase implementieren, um die Implementierung für nachgelagerte Systemanbieter zu erleichtern und die Kosten für bösartige Akteure zu erhöhen, diese Kennzeichnungen zu entfernen.
- Erwägung der GPAI-Bezeichnung für fortgeschrittene Modelle: Die EU und andere Aufsichtsbehörden sollten erwägen, die fortschrittlichsten Bildmodelle als General Purpose AI (GPAI)-Modelle mit systemischen Risiken zu bezeichnen, die von den Entwicklern proaktive Maßnahmen wie Wasserzeichen erfordern.
- Nutzung von APIs und Lizenzbedingungen zur Durchsetzung: Modellentwickler können APIs und Lizenzbedingungen nutzen, um die Verwendung von Wasserzeichen durch nachgelagerte Systemanbieter durchzusetzen.
- Entwicklung automatisierter Compliance-Inspektionswerkzeuge: Da die Anzahl der generativen KI-Systeme wächst, werden automatisierte Methoden zur Compliance-Inspektion entscheidend sein, um Wasserzeichen zu erkennen und eine wirksame Durchsetzung der KI-Vorschriften zu gewährleisten.
Was sind die größten Herausforderungen und potenziellen zukünftigen Entwicklungen bei der effektiven Umsetzung der AI-Act-Verordnungen im Kontext generativer KI?
Der EU AI Act zielt darauf ab, Risiken durch KI-generierte Inhalte mit obligatorischen maschinenlesbaren Kennzeichnungen und sichtbaren Offenlegungen für Deepfakes zu begegnen. Die Nichteinhaltung kann zu erheblichen Geldstrafen führen, die ab dem 1. August 2026 in Kraft treten. Es bestehen jedoch Unklarheiten in Bezug auf die praktische Anwendung, insbesondere in Bezug auf die Zuweisung von Verantwortlichkeiten und die Definition von „Deepfake“.
Wesentliche Herausforderungen bei der Umsetzung:
- Definition von ‚Deepfake‘: Die mangelnde Klarheit darüber, was ein „Deepfake“ ist, schafft Unsicherheit für Anwender.
- Zuweisung von Verantwortlichkeiten: Die Aufteilung der Verantwortlichkeiten innerhalb der komplexen generativen KI-Lieferkette (Modellentwickler, nachgelagerte Entwickler, Systemanbieter und Anwender) bedarf der Klärung.
Komplexität der Transparenzregeln:
Insbesondere Artikel 50 des AI Act legt Transparenzregeln fest, die für generative KI-Systeme gelten:
- Artikel 50(2): Anbieter müssen sicherstellen, dass die Ausgaben „in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind“. Die Lösungen müssen wirksam, interoperabel, robust und zuverlässig sein.
- Artikel 50(4): Anwender, die Bild-, Audio- oder Videoinhalte erzeugen oder manipulieren, die einen Deepfake darstellen, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.“
- Sichtbarkeit: Gemäß Artikel 50(5) müssen Informationen „spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und unterscheidbarer Weise bereitgestellt werden“. Bei Deepfakes wird dies so interpretiert, dass eine sichtbare Kennzeichnung des Ergebnisses erforderlich ist.
Zukünftige Entwicklungen und Überlegungen:
Eine effiziente Durchsetzung wird von Folgendem abhängen:
- Automatisierte Compliance-Prüfungen: Um das erhöhte Volumen zu bewältigen, sind automatisierte Methoden zur Compliance-Prüfung erforderlich, die verschiedene Erkennungsmechanismen integrieren.
- Wasserzeichen auf Modellebene: Maschinenlesbare Wasserzeichen würden am besten in der Modellentwicklungsphase implementiert, wo sie über API- und Lizenzbedingungen durchgesetzt werden könnten.
- GPAI-Modellbezeichnung: Die fortschrittlichsten Bildmodelle könnten als GPAI-Modelle mit systemischem Risiko ausgewiesen werden.
- Klassifizierung von API-Anbietern: Es könnte in Erwägung gezogen werden, Anbieter, die gebrauchsfertige Modell-APIs anbieten, als Anbieter von KI-Systemen einzustufen.
Letztendlich zielt der EU AI Act auf eine vertrauenswürdige Implementierung ab und mindert die Risiken generativer KI-Inhalte, birgt aber erhebliche Unklarheiten bei der Übersetzung der Compliance von den gesetzlichen Anforderungen in tatsächliche technische Produkte, was Probleme für Anwender und die Verteilung der Verantwortlichkeiten mit den verschiedenen Komponenten der KI-generativen Kette verursachen kann.
