Deloitte’s $440k AI Slip: Ein Überblick über die Herausforderungen der KI-Governance
Vor etwa einem Monat wurden Bedenken geäußert, dass ein Bericht, den Deloitte für die australische Bundesregierung erstellt hatte, Materialien enthalten könnte, die nicht auf realen Quellen basieren. Mehrere Fälle von fiktiven Zitationen und falsch zugeordneten Zitaten wurden als problematisch identifiziert: Verweise auf Arbeiten und gerichtliche Entscheidungen, die einfach nicht existieren, sowie ein Zitat, das angeblich von Richter Davies stammt und in der relevanten Gerichtsentscheidung nirgends zu finden ist.
Diese Verdachtsmomente führten zu weiterer Überprüfung, und Deloitte gab kürzlich zu, dass es generative KI zur Erstellung des Berichts verwendet hatte, was das Unternehmen dazu veranlasste, teilweise Geld an die Regierung zurückzuzahlen und Korrekturen vorzunehmen.
Die Normalisierung von „AI Slop“
Dieser Vorfall ist nicht isoliert, sondern zeigt ein tiefergehendes und wachsendes Problem im Umgang mit KI in professionellen Kontexten: die Normalisierung von „AI Slop“, also maschinengenerierten Inhalten, die auf den ersten Blick poliert erscheinen, aber darunter fehlerhaft sind und durchrutschen, weil sie glaubwürdig wirken. Der Fall Deloitte sollte als Warnung dienen: Fähigkeit ohne Aufsicht ist ein Risiko.
In der ursprünglichen Version des Deloitte-Berichts stellten Akademiker fest, dass mehrere der zitierten Werke von Wissenschaftlern der Universität Sydney und anderen Institutionen nicht existieren und dass die rechtlichen Zitate verzerrt oder fabriziert waren. Deloitte verteidigte seine Ergebnisse, erkannte jedoch den Bedarf an Korrekturen an den Verweisen. Die überarbeitete Version enthielt einen Hinweis auf die Unterstützung durch KI über Azure OpenAI GPT-4o.
Probleme mit der Governance von KI-generierten Inhalten
Im Zusammenhang mit der Verwendung von KI hat das Modell Sora 2 von OpenAI die Debatten darüber neu entfacht, wie generative Medien in die öffentliche Diskussion gelangen. Das Tool ermöglicht es Nutzern, kurze Videos aus Eingabeaufforderungen zu erstellen, was möglicherweise hochgeladene Gesichter und Stimmen einschließt. Einige der frühen Ausgaben wurden von Zuschauern fälschlicherweise für echtes Filmmaterial gehalten, was zu Kritik hinsichtlich der Kennzeichnung, des geistigen Eigentums und der Grenze zwischen synthetischen und authentischen Inhalten führte.
Der gemeinsame Nenner zwischen dem Fehltritt von Deloitte und der Kontroverse um Sora 2 ist kein technisches Versagen, sondern das institutionelle Versagen, KI-generierte Arbeiten zu steuern. Im Fall von Deloitte gelangten KI-generierte Ansprüche in ein Kundenprodukt, ohne ausreichende Überprüfung. Im Fall von Sora 2 dringt synthetisches Material bereits ohne klare Attribution oder Verantwortung in öffentliche Feeds ein.
Kosten des „Workslop“
Aktuelle Forschungen zur Nutzung von KI am Arbeitsplatz quantifizieren die Kosten. Eine Studie der Harvard Business Review in Zusammenarbeit mit BetterUp Labs ergab, dass etwa 40 Prozent der befragten Mitarbeiter auf KI-generierte Inhalte gestoßen sind, die bearbeitet oder korrigiert werden mussten. Im Durchschnitt benötigten diese Fälle fast zwei Stunden zusätzliche Arbeit, und die Empfänger berichteten von einem geringeren Vertrauen sowohl in die Inhalte als auch in die Person, die sie bereitgestellt hat. Die Forscher bezeichneten dies als eine „unsichtbare Produktivitätssteuer“.
Der Vorfall bei Deloitte ist eine hochgradige Version des „Workslop“, das in einen Regierungsauftrag einging. In beiden Fällen kann das, was poliert aussieht, Lücken, Verzerrungen oder vollständige Halluzinationen verbergen. Da generative Modelle flüssiger und überzeugender werden, liegt die Last zunehmend auf den Menschen, um das, was die Maschinen falsch machen, zu erkennen.
Empfehlungen zur Verbesserung der KI-Governance
Die Governance-Literatur empfiehlt, festzuhalten, wo KI verwendet wird, eine menschliche Genehmigung zu verlangen und Überprüfungsausschüsse oder -gremien zu bilden, um KI-generierte Inhalte vor der Veröffentlichung zu prüfen. In der Praxis erkunden einige Organisationen algorithmische Überprüfungsgremien oder integrieren KI-Überwachung in bestehende Compliance-Funktionen. Offensichtlich ist dies nicht schnell genug geschehen.
Die Lehre aus diesen jüngsten Fällen ist klar: Die Technologie mag sich schnell weiterentwickeln, aber die Systeme darum herum hinken hinterher.
