AI-Überwachung am Arbeitsplatz
Während Organisationen künstliche Intelligenz (KI) zur Überwachung des Arbeitsplatzes einsetzen, müssen sie auch sich selbst überwachen und dadurch ihre Erwartungen an Risiko, Governance und Sicherheit neu gestalten. KI muss aus zwei Richtungen verwaltet werden: von innen nach außen, um sicherzustellen, dass Organisationen KI auf vertrauenswürdige Weise einsetzen, und von außen nach innen, um die KI-Systeme gegen externe Bedrohungen abzusichern.
Definition von „KI“ im Unternehmenskontext
„KI“ wird häufig als Sammelbegriff für alles Automatisierte oder technologiegetriebene verwendet. Dies verschleiert bedeutende Unterschiede in Risiko, Kontrolle und regulatorischer Behandlung. Für eine effektive Governance müssen Organisationen zwischen traditioneller Automatisierung, prädiktiven Modellen, generativen Systemen und fortgeschrittenen agentischen Architekturen unterscheiden.
Diese Präzision hilft Organisationen bei genauen Risikoabschätzungen, angemessenen Kontrollgestaltungen und glaubwürdigen externen Offenlegungen. Aus technologischer Sicht nutzen die meisten Unternehmen generative KI und Chatbots als Assistenten für die Inhaltserstellung, Zusammenfassungen und Analysen. Diese Werkzeuge können Geschwindigkeit und Skalierung erheblich verbessern, können jedoch auch Möglichkeiten für unbefugten Zugriff und Angriffe erweitern.
Risiken agentischer KI
Agentische KI wurde als „eine neue Art von KI-Systemen, die semi- oder vollständig autonom sind und somit in der Lage sind, selbstständig zu wahrnehmen, zu argumentieren und zu handeln“ beschrieben. Agentische KI erhöht diese Risiken, indem sie Sequenzen von Aktionen über die Werkzeuge und Systeme einer Organisation orchestriert, was Fehlkonfigurationen und Missbrauch beschleunigen und verstärken kann.
Es ist wichtig zu beachten, dass rechtliche und technische Begriffe nicht immer konsistent sind. Viele Gesetze unterscheiden zwischen KI-Systemen im Allgemeinen und „automatisierten Entscheidungsprozessen (ADM)“ oder „automatisierten Entscheidungstechnologien (ADMT)“, wenn Entscheidungen die Rechte oder Möglichkeiten von Individuen wesentlich beeinflussen. Diese unterschiedlichen Definitionen beeinflussen direkt die Verpflichtungen von Organisationen hinsichtlich Bewertungen, Offenlegungen, Tests und individueller Rechte.
Von innen nach außen: KI nutzen und Vertrauen bewahren
Die Betrachtung von KI von innen nach außen bedeutet, die Art und Weise zu prüfen, wie KI innerhalb der Organisation eingesetzt wird und wie dieser Einsatz die Mitarbeiterbeziehungen, das Vertrauen der Kunden und die Erwartungen Dritter beeinflusst. Viele regulatorische und politische Rahmenbedingungen verwenden risikobasierte Ansätze, die auf den Kontext, potenziellen Schaden und die Autonomie des Systems der Organisation fokussiert sind.
Wichtige interne rechtliche und Compliance-Bedenken umfassen:
- Bei der Nutzung von KI zur Leistungsüberwachung nicht in intrusive Mitarbeitersurveillance übergehen.
- Maßnahmen ergreifen, um Lecks vertraulicher Informationen zu verhindern, einschließlich personenbezogener Daten und Geschäftsgeheimnisse.
- Das Vertrauen der Verbraucher und Stakeholder bewahren, indem klar signalisiert wird, wann Chatbots oder automatisierte Entscheidungstools eingesetzt werden.
- Risiken in der Lieferkette verwalten, indem KI-Anbieter und eingebettete KI-Dienste als kritische Drittparteien behandelt werden, die strukturierten Risikoabschätzungen und vertraglichen Schutzmaßnahmen unterliegen.
Von außen nach innen: KI als Angriffsfläche sichern
Die Betrachtung von KI-Systemen als Vermögenswerte und Angriffsflächen erfordert dedizierte Sicherheitsstrategien. Ein erheblicher Teil der KI-bezogenen Aktivitäten erfolgt außerhalb der traditionellen Sichtbarkeit, insbesondere wenn Modelle, Agenten und Orchestrierungsebenen in Cloud-Diensten oder externen Plattformen gehostet werden.
Die Sicherheitsverantwortlichen müssen die Überwachungsziele klären, einschließlich:
- Die Nutzung von KI durch Bedrohungsakteure innerhalb von Unternehmensumgebungen zu erkennen.
- Missbrauch oder Kompromittierung von KI- und agentischen Systemen zu identifizieren und einzudämmen.
- Insider-Risiken zu verwalten, die durch Fehlkonfigurationen entstehen können.
Schlussfolgerung
KI entwickelt sich weiter, wobei neue Lösungen speziell entwickelt werden, um das Verhalten von KI zu überwachen, Richtlinien durchzusetzen und prüfbare Aufzeichnungen für die Einhaltung zu bieten. Chief Information Security Officers und Führungsteams sollten nicht auf die vollständige Reifung von Produkten warten, sondern sofort beginnen, die Nutzung von KI zu kartieren, technische und rechtliche Definitionen abzugleichen und Strategien für Überwachung und Governance zu entwickeln, die sowohl das Vertrauen von innen nach außen als auch die Sicherheit von außen nach innen adressieren.
