Vertrauen in Künstliche Intelligenz: Eine neue Notwendigkeit für Unternehmen

Verantwortliche KI kann nicht warten: Das neue Vertrauensimperativ für Geschäftsleiter

Die Ära der KI-Piloten ist vorbei. Vorstandsetagen, Regulierungsbehörden und Kunden erwarten nun KI-Systeme, die in kritischen Arbeitsabläufen erklärbar, prüfbar und zuverlässig sind.

Von Hype zu Verantwortung

In Europa trat das AI Act am 1. August 2024 in Kraft, mit phasenweisen Verpflichtungen bis 2025–2027. Ab August 2025 gelten Regeln für allgemeine Modelle, während die meisten Bestimmungen bis August 2026 vollständig anwendbar sind. In den USA setzte die Executive Order 14110 (Oktober 2023) eine föderale Agenda für sichere, geschützte und vertrauenswürdige KI.

Dies sind keine fernen Signale, sondern kurzfristige Betriebsvorgaben. Für Führungskräfte sind sie zudem eine Roadmap: Unternehmen, die heute Vertrauen in KI aufbauen, werden in der Lage sein, morgen sicher zu skalieren.

Halluzinationen: Die Schwachstelle des Vertrauens

Eines der sichtbarsten Symptome der Vertrauenslücke ist die KI-„Halluzination“. Dies geschieht, wenn ein System flüssigen, selbstbewussten, aber falschen Text generiert. Ein Papier von OpenAI aus September 2025 mit dem Titel Warum Sprachmodelle halluzinieren nennt zwei wichtige Punkte:

• Bewertung belohnt Raten. Benchmarks belohnen oft richtige Vermutungen, bestrafen jedoch das Enthalten, was Modelle dazu drängt, auch bei Unsicherheit etwas auszugeben.
• Halluzination ist strukturell. Da Modelle trainiert werden, um das nächste Token vorherzusagen, nicht um zu argumentieren oder Beweise zu überprüfen, erzeugen sie immer plausible, aber unbelegte Ansprüche, es sei denn, es werden zusätzliche Sicherheitsvorkehrungen getroffen.

Halluzinationen sind kein Bug, der einfach weggelockt werden kann. Sie erfordern systematische Lösungen.

Wie die Branche reagiert

In Forschungslabors und Unternehmen entstehen neue Ansätze, um Halluzinationen zu erkennen, zu verhindern und zu reparieren:

• Provenienz über jeden Schritt. Microsoft Research’s VeriTrail verfolgt mehrstufige KI-Workflows und erkennt nicht unterstützte Ansprüche.
• Erkennungs- und Bearbeitungszyklen (domänenspezifisch). FRED (Finance Retrieval-Enhanced Detection) trainiert kleinere Modelle, um faktische Fehler in finanziellen Ausgaben zu erkennen und zu reparieren.
• Nutzen von Unsicherheit. Forschungen zeigen, dass entropiebasierte Methoden eine Teilmenge von Halluzinationen flaggen können.
• Verifiziertes RAG. Die nächste Evolution von RAG ist die Überprüfung der Ansprüche auf Ebene des Anspruchs.

Ein sechs-Schichten-Modell zur Vertrauensbildung

Vertrauen ist keine einfache Lösung oder ein einzelner Sicherheitszaun, sondern eine Systemeigenschaft. Um es zu operationalisieren, können Unternehmen einen geschichteten Ansatz entwickeln:

1. Entdeckung & Sicherheitsvorkehrungen. Wo wird KI eingesetzt? Risiken klassifizieren und Richtlinien anwenden.
2. Fundierte Rückgewinnung. Autoritative Sammlungen kuratieren und mit qualitätskontrollierten Chunking indizieren.
3. Anspruchsbasierte Provenienz. Ausgaben in atomare Ansprüche zerlegen und Nachweise anhängen.
4. Überprüfung & Enthaltung. Für jeden Anspruch Entailment- oder numerische Überprüfungen durchführen.
5. Halluzinationserkennung und -bearbeitung. Domänenspezifische Detektoren für risikobehaftete Bereiche hinzufügen.
6. Nachverfolgbarkeit über Schritte. Eingaben, Aufforderungen und Ausgaben protokollieren, um Fehler zurückverfolgen zu können.

Kennzahlen für das Vertrauen

Um KI von „es klang richtig“ zu „es ist zuverlässig“ zu bewegen, müssen Organisationen Vertrauensmetriken verfolgen:

• Attributionsabdeckung (%) — wie viele Sätze durch Quellen gestützt werden.
• Überprüfungsquote (%) — Anteil der Ansprüche, die Entailment-/Numerik-Checks bestehen.
• Abstimmungs-/Überprüfungsquote (%) — wenn das System „nicht sicher“ sagt oder an Menschen weiterleitet.
• Bearbeiten-vor-Versand (%) — Anteil der Ausgaben, die vor der Veröffentlichung korrigiert wurden.
• Vorfallrate (ppm) — bestätigte Halluzinationen in der Produktion.
• Entscheidungszeit (min) — Latenz, die durch Sicherheitsvorkehrungen hinzugefügt wird.

Fallbeispiele

Investmentbank Kreditmemo-Drafting

Risiko: Analytiker ziehen Verhältnisse aus Dokumenten. Eine halluzinierte Zahl könnte das Risiko falsch bewerten.

Lösung: Rückgewinnung aus Dokumenten, Anspruchsbasierte Zitationen, numerische Überprüfung und ein finanzspezifischer Detektor.

Ergebnis: Höhere Attributionsabdeckung, weniger nachgelagerte Vorfälle, schnellere Genehmigungen.

Krankenhaussystem Entlassungszusammenfassungen

Risiko: Koordinatoren stellen Zusammenfassungen aus EHR-Notizen und Richtlinien zusammen. Eine halluzinierte Dosierung könnte zu einer Wiederaufnahme führen.

Lösung: Rückgewinnung aus lokalen Richtlinien, Provenienzprotokolle, Dosierungsüberprüfungen und Enthaltung bei hoher Unsicherheit.

Ergebnis: Niedrigere Fehlerquoten, höheres Vertrauen der Klinikmitarbeiter, weniger Governance-Eskalationen.

Fazit: Von Risiko zu Resilienz

Halluzinationen werden nicht verschwinden. Aber mit Provenienz, Überprüfung und Governance, die in das System selbst eingebaut sind, können sie transparent, nachverfolgbar und verwaltbar gemacht werden.

Unternehmen, die jetzt handeln, werden diejenigen sein, die verantwortliche KI zu einem wettbewerbsfähigen Vorteil machen, indem sie schneller skalieren, weil ihre Ergebnisse von Regulierungsbehörden, Mitarbeitern und Kunden gleichermaßen vertraut werden.