AI’s Shadow: Die Gefahren für Frauen und Mädchen aufdecken und angehen

german

Welche zentralen Herausforderungen ergeben sich aus den rasanten KI-Fortschritten, die zu vermehrten gesellschaftlichen Schäden führen und insbesondere Frauen und Mädchen betreffen?

Der rasante Fortschritt und die ungleichmäßige Verbreitung von KI stellen reale und komplexe Herausforderungen dar, einschließlich neuer oder verstärkter Schäden für die Gesellschaft, die sich gegen Frauen und Mädchen richten. Diese Schäden reichen von Cyber-Belästigung bis hin zu Hassreden und Persönlichkeitsfälschung.

Gen AI produziert unbeabsichtigte Schäden, die aus bereits verzerrten Daten resultieren, auf denen die KI-Systeme trainiert werden, was wiederum eingebettete Verzerrungen und Stereotypen reproduziert. Alltägliche Interaktionen mit Gen AI können zu unbeabsichtigten, aber dennoch nachteiligen Ergebnissen führen. Darüber hinaus kann Gen AI schädliche Inhalte verstärken, indem sie die Erstellung von Bildern, Audio, Text und Video durch bösartige Akteure mit erstaunlicher Geschwindigkeit und im großen Umfang automatisiert und ermöglicht.

Laut einer Schätzung für 2025 erleben einige Mädchen ihre erste technologiegestützte geschlechtsspezifische Gewalt (TFGBV) bereits im Alter von 9 Jahren.

Diese Entwicklungen haben weitreichende Auswirkungen über die virtuelle Welt hinaus, einschließlich dauerhafter physischer, psychischer, sozialer und wirtschaftlicher Folgen.

Unbeabsichtigte Schäden und eingebettete Verzerrung:

Das Risiko, dass „KI ihre eigenen Daten recycelt“, wird zu einem großen Problem; da KI weiterhin Inhalte generiert, greift sie zunehmend auf recycelte Daten zurück, wodurch bestehende Verzerrungen verstärkt werden. Diese Verzerrungen werden in neuen Ausgaben immer tiefer verankert, wodurch die Chancen für bereits benachteiligte Gruppen verringert werden und es zu unfairen oder verzerrten Ergebnissen in der realen Welt kommt.

Beabsichtigte bösartige Angriffe:

Im Gegensatz zu versehentlichen Verzerrungen versuchen einige Benutzer bewusst, KI-Systeme auszunutzen, um Schaden anzurichten – dies umfasst Online-Gewalt gegen Frauen und Mädchen.

KI-Tools können manipuliert werden, um schädliche Inhalte zu erzeugen, wie z. B. Deepfake-Pornografie. Ein Forschungsbericht ergab, dass 96 % der Deepfake-Videos nicht einvernehmliche intime Inhalte waren und 100 % der Top-Fünf-„Deepfake-Pornografie-Websites“ Frauen ins Visier nahmen.

Bösartige Akteure täuschen KI absichtlich, um solche Inhalte zu produzieren oder zu verbreiten, wodurch das ohnehin schon ernste Problem der technologiegestützten geschlechtsspezifischen Gewalt (TFGBV) verschärft wird. Die Wege des Schadens umfassen:

• KI-Entwicklung: Nur 30 % der KI-Fachkräfte sind Frauen.
• KI-Zugang: Mehr Männer als Frauen nutzen das Internet, was zu Datenlücken führt und Gender Bias in KI antreibt.
• Durch KI verursachter Schaden: 58 % der jungen Frauen und Mädchen weltweit haben Online-Belästigung erlebt.

Spezifische Herausforderungen, die durch eine Red-Teaming-Übung hervorgehoben wurden:

• Perpetuierung von Stereotypen: KI-Modelle können unbeabsichtigt Stereotypen verewigen, die sich auf Frauen auswirken, die in MINT-Berufen studieren und vorankommen. Zum Beispiel könnte das KI-Feedback für Frauen weniger ermutigend sein als für Männer, was subtil weniger Vertrauen in ihre Fähigkeiten impliziert.
• Erzeugung schädlicher Inhalte: KI kann ausgenutzt werden, um in verschiedenen Sprachen übersetzte, explizite Beleidigungen gegen Journalistinnen zu erzeugen. Durch die Abfrage der Beleidigungen in mehreren Sprachen können bösartige Akteure gefälschte Bot-Konten erstellen und den Eindruck erwecken, dass ein umfassenderer Angriff stattfindet. In großem Umfang können Belästiger diesen gesamten Prozess mithilfe von generativen KI-Tools automatisieren.

In welcher Weise kann dieses PLAYBOOK genutzt werden, um die Konzeption und Durchführung von Red Teaming-Initiativen zur Verbesserung der Gesellschaft zu erleichtern?

Dieses Playbook bietet eine Schritt-für-Schritt-Anleitung, um Organisationen und Gemeinschaften mit den Werkzeugen und dem Wissen auszustatten, das sie benötigen, um ihre eigenen Red Teaming-Bemühungen für das Gemeinwohl zu entwerfen und umzusetzen. Es basiert auf der Red Teaming-Erfahrung der UNESCO bei der Prüfung von KI auf Gender-Bias und bietet klare, umsetzbare Anleitungen zur Durchführung strukturierter Bewertungen von KI-Systemen für sowohl technische als auch nicht-technische Zielgruppen.

Die freie Zugänglichkeit von KI-Testwerkzeugen für alle ermöglicht es verschiedenen Gemeinschaften, sich aktiv an einer verantwortungsvollen technologischen Entwicklung zu beteiligen und sich für wirksame Veränderungen einzusetzen.

Zielbenutzer

Das Playbook richtet sich an Einzelpersonen und Organisationen, die darauf abzielen, Risiken und Vorurteile in KI-Systemen zu verstehen, zu hinterfragen und anzugehen, insbesondere unter dem Gesichtspunkt des öffentlichen Interesses.

• Forscher & Akademiker: Wissenschaftler in den Bereichen KI-Ethik, digitale Rechte und Sozialwissenschaften, die Vorurteile und gesellschaftliche Auswirkungen analysieren wollen.
• Regierungs- & Politikexperten: Aufsichtsbehörden und politische Entscheidungsträger, die an der Gestaltung der KI-Governance und der Rahmenbedingungen für digitale Rechte interessiert sind.
• Zivilgesellschaft & Non-Profit-Organisationen: Organisationen, die sich für digitale Integration, Gleichstellung der Geschlechter und Menschenrechte in der KI-Entwicklung einsetzen.
• Pädagogen und Studenten: Lehrer, Hochschulforscher und Studenten, die die ethischen und gesellschaftlichen Implikationen von KI untersuchen, einschließlich potenzieller Verzerrungen.
• Technologie- und KI-Praktiker: Entwickler, Ingenieure und KI-Ethikexperten, die Strategien suchen, um in KI-Systemen vorhandene Verzerrungen zu identifizieren und zu mindern.
• Künstler und Fachkräfte im Kulturbereich: Kreative und Fachkräfte, die den Einfluss von KI auf künstlerische Ausdrucksformen, Repräsentation und kulturelles Erbe untersuchen.
• Citizen Scientists: Einzelpersonen und lokale Bürger, die sich aktiv an Red Teaming beteiligen und an Wettbewerben, Bounty-Programmen und offener Forschung teilnehmen möchten.

Durch die Einbeziehung dieser und anderer vielfältiger Gruppen in das Red Teaming wird ein multidisziplinärer Ansatz zur Rechenschaftspflicht im Bereich KI gefördert, der die Kluft zwischen Technologie, Politik und gesellschaftlichen Auswirkungen überbrückt.

Umsetzbare Ergebnisse

Nach Abschluss einer Red Teaming-Veranstaltung betont das Playbook mehrere wichtige Massnahmen, darunter:

• Kommunikation der Ergebnisse: Übermittlung der Ergebnisse an die Eigentümer von KI-Modellen und Entscheidungsträger, um sicherzustellen, dass das Ziel der Veranstaltung, Red Teaming KI für das Gemeinwohl, erreicht wird.
• Berichterstattung von Erkenntnissen: Erstellung eines Berichts nach der Veranstaltung, der umsetzbare Empfehlungen liefern und anbieten kann. Der Bericht kann den Eigentümern von Generative-AI-Modellen Erkenntnisse darüber liefern, welche Schutzmassnahmen am besten funktionieren, und die Einschränkungen hervorheben, die in den Modellen bestehen, die weitere Bearbeitung erfordern.
• Implementierung und Follow-up: Integration der Ergebnisse des Red Teaming in die Lebenszyklen der KI-Entwicklung, einschliesslich Folgemassnahmen zur Bewertung der von den Eigentümern der KI-Modelle vorgenommenen Änderungen und öffentliche Kommunikation der Ergebnisse, um das Bewusstsein zu schärfen und die Politik zu beeinflussen.

Behebung von Schlüsselrisiken

Bei der Aufdeckung von Stereotypen und Vorurteilen in GenAI-Modellen ist es wichtig, die beiden Hauptrisiken zu verstehen: unbeabsichtigte Folgen und beabsichtigte böswillige Angriffe. Eine Red Teaming-Übung kann beides berücksichtigen.

• Unbeabsichtigte Folgen, bei denen Benutzer unbeabsichtigt inkorrekte, unfaire oder schädliche Annahmen auslösen, die auf eingebetteten Verzerrungen in den Daten beruhen.
• Beabsichtigte böswillige Angriffe Im Gegensatz zu unbeabsichtigten Verzerrungen versuchen einige Benutzer absichtlich, KI-Systeme auszunutzen, um Schaden anzurichten – dazu gehört auch Online-Gewalt gegen Frauen und Mädchen.

Empfehlungen

• Befähigen Sie verschiedene Gemeinschaften mit zugänglichen Red Teaming-Werkzeugen, um sich aktiv an der Identifizierung und Minderung von Vorurteilen gegen Frauen und Mädchen in KI-Systemen zu beteiligen.
• Setzen Sie sich für KI für das Gemeinwohl ein Verwenden Sie Erkenntnisse aus Red Teaming-Übungen, um sich für eine gerechtere KI einzusetzen. Teilen Sie die Ergebnisse mit KI-Entwicklern und politischen Entscheidungsträgern, um wirksame Veränderungen voranzutreiben.
• Fördern Sie Zusammenarbeit und Unterstützung Fördern Sie die Zusammenarbeit zwischen technischen Experten, Fachexperten und der breiten Öffentlichkeit bei Red Teaming-Initiativen.

german

Welche spezifischen Praktiken sind bei der Prüfung generativer KI-Modelle erforderlich, um ihre bestehenden Schwachstellen aufzudecken, wobei der Schwerpunkt auf potenziell schädlichem Verhalten liegt?

Das Testen generativer KI-Modelle (GenAI) über „Red Teaming“ entwickelt sich zu einer entscheidenden Praxis, um Schwachstellen und potenziellen Schaden aufzudecken. Dies beinhaltet das absichtliche Stresstesten von KI-Systemen, um Fehler aufzudecken, die zu Fehlern, Verzerrungen oder der Erzeugung schädlicher Inhalte führen könnten, einschließlich technologiegestützter geschlechtsspezifischer Gewalt (TFGBV).

Wichtige Testpraktiken:

• Prompt Engineering: Erstellung spezifischer, sorgfältig gestalteter Prompts, um unerwünschtes Verhalten von Sprachmodellen hervorzurufen. Diese Prompts können von subtilen Tests auf unbeabsichtigte Verzerrungen bis hin zu expliziten Versuchen reichen, bösartige Inhalte zu generieren. Beispiele hierfür sind das Testen auf Geschlechterstereotypen in Lern-Chatbots oder der Versuch, schädliche Inhalte über einen Journalisten zu generieren.
• Szenariobasiertes Testen: Simulieren von realen Situationen, um zu bewerten, wie KI in praktischen Kontexten funktioniert. Zum Beispiel das Testen der KI-Leistung bei der Personalbeschaffung, Leistungsbeurteilungen oder dem Verfassen von Berichten, um ihre Auswirkungen auf durchschnittliche Benutzer zu verstehen.
• Identifizierung von Schwachstellen: Identifizieren von Schwächen im KI-System, die ausgenutzt werden könnten, um schädliche oder unbeabsichtigte Ergebnisse zu erzielen. Dies könnte beinhalten, zu erkennen, ob die KI Vorurteile verstärkt oder zu Schäden für Frauen oder andere schutzbedürftige Gruppen beiträgt.

Arten von Red Teaming:

• Experten-Red-Teaming: Einsatz von Fachexperten in den Bereichen KI-Ethik, digitale Rechte oder spezifische Domänen (z. B. Bildung, Gender Studies) zur Bewertung von GenAI-Modellen. Experten bringen tiefes Wissen mit, um potenzielle Verzerrungen oder Schäden zu identifizieren.
• Öffentliches Red Teaming: Einbeziehung von Alltagsnutzern, um mit KI in ihrem täglichen Leben zu interagieren und Probleme zu melden. Dies testet KI in realen Szenarien und sammelt verschiedene Perspektiven darüber, wie KI Menschen unterschiedlich beeinflusst.

Aufdeckung schädlichen Verhaltens:

• Testen auf unbeabsichtigte Schäden oder eingebettete Verzerrungen: Tests werden entwickelt, um herauszufinden, ob GenAI-Modelle unbeabsichtigt Stereotypen oder Verzerrungen in Bereichen wie der MINT-Ausbildung aufrechterhalten.
• Testen auf beabsichtigte Schäden, um böswillige Akteure zu entlarven: Untersuchung von Vertrauens- und Sicherheitsvorkehrungen, um aufzudecken, wie böswillige Akteure KI ausnutzen könnten, um schädliche Inhalte und Hassreden zu verbreiten, z. B. gegen Journalistinnen.

Interventionsstrategien: Red Teaming ermöglicht Einblicke in die Pfade des Schadens. Gesetzgeber, Technologieunternehmen, Interessenvertretungen, Pädagogen und die breite Öffentlichkeit können Red-Teaming-Analysen nutzen, um robuste Richtlinien und Durchsetzung, Technologie- und Erkennungsmaßnahmen, Interessenvertretung und Bildung sowie Plattformmoderationsrichtlinien zu entwickeln.

Psychologische Sicherheit: Priorisierung von Ressourcen für die psychische Gesundheit der Teilnehmer, insbesondere wenn das Testen potenziell belastende Inhalte beinhaltet.

Massnahmen aufgrund von Ergebnissen:

• Analyse: Die Interpretation der Ergebnisse umfasst sowohl die manuelle als auch die automatisierte Datenvalidierung, um festzustellen, ob die während des Tests festgestellten Probleme tatsächlich schädlich sind. Für große Datensätze können NLP-Tools zur Erkennung von Sentiment und Hassreden verwendet werden.
• Berichterstattung: Erstellung von Berichten nach der Veranstaltung, um Erkenntnisse an die Eigentümer von GenAI-Modellen und Entscheidungsträger weiterzugeben, um die Entwicklungszyklen zu verbessern. Folgemaßnahmen mit den Eigentümern des GenAI-Modells nach einem festgelegten Zeitraum werden dazu beitragen, die Lernintegration aus der durchgeführten Red-Teaming-Übung zu bewerten.
• Kommunikation: Weite Kommunikation der Ergebnisse, um das Bewusstsein zu schärfen. Teilen Sie Ergebnisse über Social-Media-Kanäle, Websites, Blogs und Pressemitteilungen, um die Sichtbarkeit zu maximieren. Dies kann politischen Entscheidungsträgern empirische Beweise liefern, um Ansätze zur Bekämpfung von Schäden zu entwickeln.

Für wen ist dieses PLAYBOOK speziell konzipiert, unter Berücksichtigung des Ziels, die Risiken und Verzerrungen von KI-Systemen zu verstehen und zu mindern?

Dieses Red Teaming PLAYBOOK zielt darauf ab, Einzelpersonen und Organisationen in die Lage zu versetzen, die Risiken und Verzerrungen, die KI-Systemen innewohnen, insbesondere aus einer Sichtweise des öffentlichen Interesses, zu verstehen, herauszufordern und zu mindern. Es ist für ein vielfältiges Publikum konzipiert, das verschiedene Sektoren und Kompetenzen umfasst.

Dieses PLAYBOOK ist für eine breite Palette von Fachleuten und Gemeinschaften konzipiert, darunter:

• Forscher und Akademiker: Wissenschaftler, die sich mit KI-Ethik, digitalen Rechten und Sozialwissenschaften befassen und sich auf die gesellschaftlichen Auswirkungen, Verzerrungen und Risiken von KI konzentrieren.
• Technologie- und KI-Praktiker: Entwickler, Ingenieure und KI-Ethikexperten, die nach Methoden suchen, um Verzerrungen in KI-Systemen zu identifizieren und zu mindern.
• Regierungs- und Politikexperten: Regulierungsbehörden und politische Entscheidungsträger, die KI-Governance- und digitale Rechtsrahmen gestalten.
• Zivilgesellschaft und gemeinnützige Organisationen: Organisationen, die sich für digitale Inklusion, Geschlechtergleichstellung und Menschenrechte bei der KI-Entwicklung und -Einführung einsetzen.
• Künstler und Fachleute aus dem Kultursektor: Kreative und kulturelle Institutionen, die den Einfluss von KI auf Repräsentation, kulturelles Erbe und künstlerischen Ausdruck untersuchen.
• Pädagogen und Studenten: Lehrer, Universitätsforscher und Studenten (z. B. in MINT-Fächern und Community Colleges), die die gesellschaftlichen und ethischen Auswirkungen von KI erforschen.
• Bürgerwissenschaftler: Gemeinschaften und Einzelpersonen, die an öffentlichem Red Teaming teilnehmen, um KI-Modelle auf Herz und Nieren zu prüfen und an offenen Forschungsprämien und -initiativen teilzunehmen.

Das Ziel ist es, einen multidisziplinären Ansatz zur KI-Rechenschaftspflicht zu fördern, der Technologie mit gesellschaftlichen Auswirkungen und Politik verbindet. Es sind keine zusätzlichen IT-Kenntnisse der Benutzer erforderlich.

german

Welche Maßnahmen sind in der Vorbereitungsphase notwendig, um ein Red Teaming-Event erfolgreich zu organisieren und zu koordinieren?

Vor dem Start eines Red Teaming-Events ist eine sorgfältige Vorbereitung entscheidend. Hier ist ein Überblick über die wesentlichen Schritte, wobei der Schwerpunkt auf KI-Governance und Compliance für GenAI-Modelle liegt:

Einrichtung einer Koordinationsgruppe

Eine gut strukturierte Koordinationsgruppe ist unerlässlich. Dieses Team sollte sich zusammensetzen aus:

• Fachexperten (SMEs): Diese Experten bringen entscheidendes Fachwissen in Bezug auf die spezifischen Risiken, Voreingenommenheiten oder ethischen Bedenken ein, die Sie angehen möchten. Es sind keine zusätzlichen IT-Kenntnisse erforderlich.
• Red Teaming-Moderator und Support-Team: Der Moderator leitet die Teilnehmer, stellt sicher, dass Aufgaben verstanden werden und Ziele im Fokus bleiben. Diese Rolle erfordert ein solides Verständnis von Generativer KI und der Funktionalität von KI-Modellen. Das Support-Personal sollte über grundlegende KI-Kenntnisse verfügen, um die Teilnehmer zu unterstützen.
• Technische Experten und Evaluatoren: Diese Gruppe bietet technische Entwicklung, Support, Bewertung und Einblicke. Sie sollten die Funktionsweise des GenAI-Modells verstehen und die notwendige technische Infrastruktur (ggf. über einen Drittanbieter) bereitstellen, um einen reibungslosen Ablauf der Veranstaltung zu gewährleisten. Es ist jedoch wichtig sicherzustellen, dass die Objektivität durch Firewalls zwischen den Experten und den Eigentümern des GenAI-Modells gewahrt wird.
• Führungskräfte: Die Unterstützung durch die Führungsebene ist entscheidend für die Ressourcenallokation und die Aufmerksamkeit. Kommunizieren Sie den Zweck und die Vorteile von Red Teaming klar und einfach und heben Sie hervor, wie es die Organisation vor potenziell schädlichen Inhalten schützt. IT-Kenntnisse sind zwar nicht erforderlich, aber Führungskräfte müssen den Wert von Red Teaming effektiv vermitteln können.

Auswahl des richtigen Red Teaming-Ansatzes

Berücksichtigen Sie diese Red Teaming-Stile:

• Experten-Red Teaming: Bezieht eine kuratierte Gruppe von Experten ein, die mit dem Zielbereich bestens vertraut sind (z. B. Gender Bias, technologiegestützte geschlechtsspezifische Gewalt). Dieser Ansatz profitiert von Erkenntnissen, die über die von KI-Entwicklern und -Ingenieuren hinausgehen.
• Öffentliches Red Teaming: Bezieht alltägliche Nutzer ein, um reale KI-Interaktionen zu simulieren. Dies bietet wertvolle, praktische Perspektiven, insbesondere von Personen, die verschiedene Organisationsbereiche, Gemeinschaften oder Hintergründe repräsentieren.

Drittanbieter-Kooperation: Wenn das Budget es zulässt, wird die Nutzung eines Drittanbieters zur Verwaltung einer Red Teaming-Plattform für eine nahtlose Datenerfassung, -analyse und -zusammenfassung empfohlen.

Psychologische Sicherheit: Wo relevant, da einige Red Teaming-Übungen möglicherweise sensible Inhalte untersuchen, ist es äußerst wichtig, Ressourcen und Unterstützung für die psychische Gesundheit der Teilnehmer bereitzustellen.

Auswahl des richtigen Formats

Wählen Sie das am besten geeignete Format:

• Präsenzveranstaltung: Am besten für kleine Gruppen geeignet, um Teamwork und schnelle Problemlösung zu fördern.
• Hybrid: Kombiniert Präsenz- und Online-Elemente und bietet Flexibilität bei gleichzeitiger Aufrechterhaltung der Zusammenarbeit.
• Online: Ideal für eine breite internationale Beteiligung, um unterschiedliche Perspektiven zu erfassen. Testen Sie Online-Plattformen im Vorfeld gründlich.

Definition von Herausforderungen und Prompts

Definieren Sie klar das thematische Ziel in Bezug auf ethische, politische oder soziale Bedenken, um einen fokussierten, relevanten Red Teaming-Prozess aufrechtzuerhalten. Testfälle müssen mit etablierten Prinzipien oder Rahmenwerken übereinstimmen, damit die Ergebnisse aussagekräftige Verbesserungen ermöglichen und zeigen können, ob ein GenAI-Modell mit den Zielen einer Organisation übereinstimmt oder nicht. Konzentrieren Sie sich auf spezifische Themen wie „Verfestigt KI negative Stereotypen über schulische Leistungen?“ anstelle von breit gefassten Anfragen.

Erstellen Sie eine Reihe von vorbereiteten Prompts, um insbesondere unerfahrene Teilnehmer zu unterstützen. Diese Prompts sollten spezifische Anweisungen enthalten. Prompt-Bibliotheken können als Schritt-für-Schritt-Anleitung herangezogen werden.

german

Was sind die verschiedenen Arten von Red Teaming und welche Überlegungen sind bei jeder Art zu berücksichtigen?

Als Tech-Journalist, der sich auf KI-Governance spezialisiert hat, werde ich oft nach den verschiedenen Ansätzen des Red Teaming gefragt. Es ist wichtig, sich daran zu erinnern, dass Red Teaming nicht nur etwas für Coding-Gurus ist; es geht darum, verschiedene Perspektiven an den Tisch zu bringen, um Schwachstellen zu identifizieren. Lassen Sie uns die Arten aufschlüsseln, die Sie in Betracht ziehen sollten:

Arten von Red Teaming

• Expert Red Teaming: Dies beinhaltet die Zusammenstellung einer Gruppe von Experten in einem bestimmten Bereich. Wenn Sie beispielsweise die Auswirkungen einer KI auf die Gleichstellung der Geschlechter testen, benötigen Sie Experten für Gender Studies, KI-Ethik und möglicherweise Personen mit gelebten Erfahrungen im Zusammenhang mit technologiebasierter geschlechtsspezifischer Gewalt. Diese Experten bewerten KI-Modelle und nutzen ihr tiefes Wissen, um potenzielle Verzerrungen oder Schäden zu finden. Es geht nicht nur um technische Fähigkeiten; es geht um Erkenntnisse, die KI-Entwickler möglicherweise übersehen.
• Public Red Teaming: Dieser Ansatz wirft ein weiteres Netz aus und bezieht alltägliche Benutzer ein, die im täglichen Leben mit KI interagieren. Diese Benutzer sind möglicherweise keine Spezialisten, aber sie können wertvolle Perspektiven aufgrund persönlicher Erfahrungen liefern. Stellen Sie sich vor, Sie testen KI in realen Situationen – Personalbeschaffung, Leistungsbeurteilungen oder sogar Berichtserstellung –, um zu sehen, wie sie für einen durchschnittlichen Benutzer funktioniert. Menschen mit unterschiedlichem Hintergrund bieten Einblicke in die Auswirkungen von KI auf sie, identifizieren systemische Probleme und generieren große Mengen nützlicher Daten.

Unabhängig davon, für welche Art Sie sich entscheiden, beachten Sie die folgenden wichtigen Punkte:

• Zusammenarbeit mit Dritten: Sofern das Budget es zulässt, wird die Zusammenarbeit mit einem Drittanbieter dringend empfohlen. Diese Spezialisten bieten oft vorgefertigte Plattformen, Datenerfassung, analytisches Fachwissen und eine neutrale Perspektive, die Anonymität fördert und Verzerrungen reduziert.
• Gewährleistung psychologischer Sicherheit: Red Teaming kann manchmal in sensible Themen eintauchen. Stellen Sie immer psychische Sicherheitsnetze bereit, insbesondere wenn die Arbeit potenziell belastende Inhalte beinhaltet.

Wie können die gesammelten Informationen interpretiert und die Ergebnisse nach einem Red Teaming-Event effektiv berichtet und kommuniziert werden?

Sobald Ihr Red Teaming-Event abgeschlossen ist, verlagert sich der Fokus auf die Gewinnung von umsetzbaren Erkenntnissen aus den Daten. Dies beinhaltet mehr als nur das Sammeln von Ergebnissen; es erfordert einen strukturierten Ansatz zur Validierung, Analyse und Kommunikation dieser Ergebnisse an Gen AI-Modellinhaber, relevante Entscheidungsträger und sogar die breite Öffentlichkeit.

Analyse: Ergebnisse mit Sorgfalt interpretieren

Datenvalidierung und -analyse können manuell oder automatisch erfolgen, je nachdem, wie viele Daten Sie gesammelt haben. Manuelle Validierung bedeutet, dass Menschen markierte Probleme überprüfen, um sicherzustellen, dass sie wirklich schädlich sind. Automatisierte Systeme verlassen sich auf voreingestellte Regeln, um Bedenken zu kennzeichnen.

Wichtige Überlegungen bei der Interpretation von Red Teaming-Ergebnissen:

• Fokussiert bleiben: Behalten Sie Ihre ursprüngliche Hypothese im Auge – ob das KI-Modell neue Schäden verursacht.
• Vermeiden Sie voreilige Schlüsse: Ein einzelnes voreingenommenes Ergebnis bedeutet nicht unbedingt, dass das gesamte System fehlerhaft ist. Die eigentliche Frage ist, ob die Vorurteile wahrscheinlich im realen Einsatz auftreten werden.
• Werkzeugauswahl: Excel mag für kleinere Datensätze in Ordnung sein, aber größere erfordern möglicherweise Tools zur Verarbeitung natürlicher Sprache (NLP).

Entscheidend ist, dass Gutachter unabhängig voneinander eingereichte Ergebnisse bewerten sollten, um alle markierten schädlichen Inhalte vor der weiteren Analyse zu überprüfen. Dies trägt dazu bei, Verzerrungen während der gesamten Veranstaltung zu minimieren.

Aktion: Berichterstattung und Kommunikation von Erkenntnissen

Die Erstellung eines Berichts nach der Veranstaltung ist entscheidend. Dieses strukturierte Dokument sollte klare, umsetzbare Empfehlungen enthalten, insbesondere in Bezug auf die anstehende Herausforderung. Die Verwendung eines bestimmten Formats wie der UNESCO-Berichtsvorlage hält die Forschung fokussiert. Der Bericht sollte Folgendes enthalten:

• Der Zweck der Red Teaming-Übung
• Eine Methodik, die den verwendeten Rahmen beschreibt.
• Tools und Plattformen, die für die Bemühungen verwendet werden.
• Ein Abschnitt, der die gefundenen Schwachstellen zusammenfasst, einschließlich Beispiele für schädliche Ausgaben.

Es ist unerlässlich, die Red Teaming-Teilnehmer an der Erstellung des Post-Event-Berichts zu beteiligen, da dies eine großartige Möglichkeit zur Optimierung der Wirkung ist.

Implementierung und Nachverfolgung

Erkenntnisse in Handlungen umzusetzen, bedeutet, die Ergebnisse den Personen zugänglich zu machen, die die von Ihnen getesteten Gen AI-Modelle entwickelt oder verwaltet haben. Es bedeutet auch, nach einiger Zeit (sechs Monate, ein Jahr usw.) zurückzukehren, um zu sehen, welche Änderungen sie aufgrund Ihrer Ergebnisse vorgenommen haben. Die Veröffentlichung von Red Teaming-Ergebnissen ist ebenfalls ein entscheidender Schritt.

Die effektive Kommunikation der Ergebnisse an Gen AI-Modellinhaber und Entscheidungsträger stellt sicher, dass die Veranstaltung ihr ultimatives Ziel erreicht, KI aus sozialen Gründen durch Red Teaming zu verbessern und politische Entscheidungsträger mit empirischen Beweisen zu versorgen, die möglicherweise an der Entwicklung von Ansätzen zur Bekämpfung dieser Schäden interessiert sind. Die Konkretisierung scheinbar abstrakter Schäden ist auch ein zusätzlicher Vorteil, den die Gründlichkeit des Prozesses bietet.