Risiken der KI: Was Unternehmen ignorieren sollten

KI übernimmt Arbeitsplätze – Die Risiken, die die meisten Unternehmen ignorieren

Im Jahr 2024 hat der Buchhaltungssoftware-Anbieter Sage seinen generativen KI-Assistenten aufgrund von Berichten über das Leaken sensibler Finanzdaten zwischen Konten pausiert. Obwohl dieses Tool dazu gedacht war, die Abläufe in kleinen Unternehmen zu optimieren, verdeutlichte es stattdessen, wie fragil die Einhaltung von Vorschriften werden kann, wenn die Aufsicht fehlt.

Alle rennen, um KI zu adoptieren – aber Organisationen sollten sich zuerst fragen, wie sie sie sicher verwalten können.

Was passiert, wenn KI Ihr nächster Mitarbeiter wird?

Der Future of Work-Bericht von Microsoft hebt einen entscheidenden Wandel hervor: KI-Agenten sind nicht mehr nur Werkzeuge – sie sind digitale Kollegen. Der Bericht prognostiziert, dass KI-Agenten bald wie Mitarbeiter „verwaltet“ werden, während sie Aufgaben autonom ausführen, aber dennoch menschliche Aufsicht benötigen.

Das verändert alles. Wenn ein KI-Agent einen Fehler macht, wer trägt die Verantwortung? Reena Richtermeyer, Partnerin bei CM Law, die Kunden in Fragen der KI-Governance berät, sagt: „Die Verantwortung liegt zunächst beim Unternehmen, Compliance-Prinzipien und Governance-Prinzipien festzulegen… nicht bei einem regulatorischen Rahmen.“

Sie betont außerdem, dass interne Strukturen – nicht nur externe Gesetze – bestimmen, wie sicher KI eingesetzt wird. Und gegenwärtig, fügt sie hinzu, fehlen diese Strukturen oft oder sind unvollständig.

Governance durch Raten

KI kann zunächst hilfreich sein, aber sie kann stillschweigend zu einer Haftung werden, wenn niemand darauf achtet. Aus diesem Grund muss ein Mensch immer noch das Training und die Implementierung der KI verwalten. Carolyn Troyan, CEO von Leadership 360, die mit Unternehmen arbeitet, die sich in einem Transformationsprozess befinden, sagt: „Jemand trainiert diese Modelle… Es gibt eine Verantwortlichkeit im Training der Agenten.“

Die Dynamik – Führungskräfte, die Software verwalten, die Entscheidungen trifft – bedeutet, dass die Aufsicht lange vor der Einführung beginnt. „Stakeholder müssen von Anfang an mit dem Ingenieurteam oder demjenigen, der die KI-Lösung implementiert, am Tisch sitzen“, sagt Richtermeyer, „damit die Ziele, die erwarteten Ergebnisse und die Aufsicht zu diesem Zeitpunkt erfolgen.“

Die meisten Organisationen sind jedoch noch nicht so weit. Eine Umfrage von KPMG aus dem Jahr 2023 ergab, dass nur 6 % der Organisationen berichten, „ein dediziertes Team zur Bewertung von Risiken und zur Implementierung von Risikominderungsstrategien im Rahmen ihrer gesamten generativen KI-Strategie“ zu haben.

Katrina Young, eine Beraterin für digitale Transformation, sagt, dass die ethische Ebene besonders leicht übersehen wird. „Es geht darum, die kulturelle und ethische Aufsicht zu verstehen, ohne einen Menschen in der Schleife zu haben… sicherzustellen, dass sie kontinuierlich gewartet und aktualisiert werden.“

Wenn KI in der Öffentlichkeit falsch läuft

Einige Unternehmen lernen diese Lektionen auf die harte Tour. Klarna, ein schwedisches Fintech-Unternehmen, machte 2024 Schlagzeilen, als es 700 Kundenservicemitarbeiter durch einen KI-Assistenten ersetzte, der auf ChatGPT basierte. Zu diesem Zeitpunkt schien dies eine kluge Möglichkeit zu sein, die Produktivität zu steigern – doch die Frustration der Kunden ließ nicht lange auf sich warten. Viele sagten, der KI-Assistent löse ihre Probleme nicht. Aus diesem Grund kehrte Klarna um und begann, menschliche Mitarbeiter wieder einzustellen.

Young ist nicht überrascht. „Es gibt keine Regeln oder Hinweise dazu“, sagt sie. „Das Unternehmen müsste ebenfalls Stakeholder einbeziehen, um zu verstehen, ob wir Richtlinien haben, die jetzt Agenten als nächsten Schritt zur Unterstützung des HR nutzen.“

Sie fügt hinzu, dass Missbrauch, ob absichtlich oder fahrlässig, sogar rechtliche Grenzen überschreiten kann. „Ich habe es mit roboterprozessautomatisierten Anwendungen gesehen… die Protokolle von Personal… Aktivitäten erstellen“, sagt sie. „Es hängt vom Anwendungsfall ab… Wenn es sich um einen Anwendungsfall für eine konstruktive Entlassung handelt, könnten rechtliche Herausforderungen auftreten.“

Der Anstieg von Shadow AI

Der Microsoft-Bericht weist auch auf einen Trend hin, der die Aufsicht noch schwieriger macht: Fast 80 % der KI-Nutzer bringen ihre Werkzeuge ins Büro, ein Phänomen, das als „Bring Your Own AI“ bezeichnet wird. Das bedeutet, dass die KI-Adoption nicht immer auf organisatorischer Ebene erfolgt – stattdessen passiert sie leise, abteilungsweise oder sogar individuell. Dies kann schnell zu einem Albtraum für alle werden, die versuchen, konsistente Richtlinien über Teams hinweg zu erstellen.

„Wir müssen verstehen, wie wir unsere Werkzeuge nutzen“, sagt Richtermeyer. „Nur weil wir ein leistungsstarkes Werkzeug haben, bedeutet das nicht, dass wir einfach sagen können… ‚Wir haben keine Verantwortung mehr.‘“

Führung neu definiert

Während KI die Art und Weise, wie wir arbeiten, umgestaltet, müssen viele Führungskräfte lernen, Technologien zu verwalten, die sie nicht vollständig verstehen. „Ich denke, dass es für eine Führungskraft eine der wichtigsten Fähigkeiten ist, zu entscheiden, welche Arbeiten am besten von einem Agenten oder von einer Person erledigt werden können“, sagt Troyan. „Eine Co-Pilotierung ist notwendig zwischen einem Menschen und der KI, um sicherzustellen, dass alles ethisch korrekt geschieht… dass es Aufsicht gibt.“

Und das ist nur eine Ebene. Sie fügt hinzu, dass Unternehmen jetzt darüber nachdenken sollten, wie Automatisierung die Entwicklung der Arbeitskräfte beeinflusst. „Was mich nachts wach hält, ist… wie werden Sie diese Einstiegsmitarbeiter schulen… wenn sie keine Berufserfahrung haben?“ fragt sie. „Wenn diese Arbeit aufgrund von KI wegfällt, wie schulen wir dann die nächste Generation von Arbeitskräften?“

Diese blinden Flecken sind nicht nur theoretisch – sie können die Abläufe erheblich beeinträchtigen. Ein Bericht des Deloitte AI Institute aus dem Jahr 2024 stellte fest, dass „Organisationen sich weit weniger bereit für die Herausforderungen fühlen, die generative KI in Bezug auf Risikomanagement und Governance mit sich bringt – nur 23 % bewerteten ihre Organisation als hoch vorbereitet.“

Diese fehlende Sichtbarkeit kann kleine Fehler in hochriskante rechtliche Expositionen verwandeln. Unternehmen, die nicht wissen, was ihre KI tut – oder wer sie überwacht – können diese Ergebnisse nicht verteidigen, nachdem Probleme auftreten.

Verantwortung ist nicht optional

Letztlich benötigen KI-Systeme trotz aller Fortschritte immer noch menschliche Aufsicht. „KI kann niemals die Kontrolle übernehmen“, sagt Young. „Wir werden immer menschlich geführte KI brauchen.“

Man kann nicht später Verantwortung übernehmen. Sie muss von Anfang an Teil des Systems sein. Unternehmen, die jetzt nicht für Compliance planen, könnten später versuchen müssen, Fehler gegenüber Regulierungsbehörden, Kunden, Investoren und ihren eigenen Mitarbeitern zu erklären – aber bis dahin könnte es zu spät sein.

More Insights

Risiken der KI: Was Unternehmen ignorieren sollten

Im Jahr 2024 stellte der Softwareanbieter Sage seinen generativen KI-Assistenten ein, nachdem Benutzer berichtet hatten, dass sensible Finanzdaten zwischen Konten geleakt wurden. Unternehmen stehen...

Die Notwendigkeit für KI-Sicherheit: Chancen und Herausforderungen

Die Revolution der künstlichen Intelligenz ist keine ferne Verheißung mehr – sie ist hier und verändert Branchen, Volkswirtschaften und das tägliche Leben. Um die Macht der KI verantwortungsvoll zu...

Künstliche Intelligenz im Polizeiwesen: Chancen und Herausforderungen

Gesetzesvollzugsbehörden nutzen zunehmend künstliche Intelligenz (KI), um ihre Abläufe zu verbessern, insbesondere durch erweiterte Möglichkeiten für prädiktive Polizeiarbeit. Der globale Markt für...

Kenias Führungsrolle bei UN-Vereinbarung zur KI-Governance

Kenia hat einen bedeutenden diplomatischen Erfolg erzielt, nachdem alle 193 Mitgliedstaaten der Vereinten Nationen einstimmig beschlossen haben, zwei wegweisende Institutionen zur Regulierung der...

Stakeholder-Forderung nach einem Rahmen für die KI-Governance

Die Stakeholder forderten die Entwicklung eines Governance-Rahmens für Künstliche Intelligenz (KI), um sicherzustellen, dass diese verantwortungsvoll eingesetzt wird. Diese Aufforderung wurde auf der...

Wichtige Richtlinien für die KI-Einführung im Gesundheitswesen

Die AMA hat Leitlinien für die Einführung und Governance von Künstlicher Intelligenz (KI) in Gesundheitssystemen veröffentlicht, die für CMOs und andere Führungskräfte im Gesundheitswesen wichtig...

UN richtet internationales Gremium zur KI-Governance ein

Die Generalversammlung der Vereinten Nationen hat eine Resolution verabschiedet, die die Modalitäten zur Einrichtung eines unabhängigen internationalen wissenschaftlichen Panels für Künstliche...

Neue Cyberbedrohungen: Von Datenvergiftung zu KI-Agenten

Künstliche Intelligenz (KI)-Tools verbreiten sich rasant in verschiedenen Branchen, was neue Möglichkeiten zur Effizienzsteigerung bietet, aber auch das Risiko von Cyberangriffen erhöht. Während KI...