Human-in-the-Loop vs. Human-on-the-Loop: Leitfaden zur KI-Aufsicht

Auf einen Blick

• Human-in-the-Loop (HITL) hält das KI-System an, bis eine Person den nächsten Schritt freigegeben hat. Human-on-the-Loop (HOTL) lässt die KI selbstständig handeln und ermöglicht der Aufsichtsperson, zu überwachen, einzugreifen oder anzuhalten. Human-out-of-the-Loop (HOOTL) nimmt den Menschen vollständig aus dem Laufzeitpfad heraus.
• Die drei Begriffe stammen nicht aus dem Maschinellen Lernen, sondern aus einem Bericht von Human Rights Watch aus dem Jahr 2012 zu autonomen Waffensystemen und wurden anschließend in der US-amerikanischen DoD-Richtlinie 3000.09 kodifiziert.
• Die KI-Verordnung der EU schreibt keinen dieser Modi vor. Artikel 14 Absatz 3 verlangt, dass die Aufsichtsmaßnahmen den Risiken, dem Grad der Autonomie und dem Verwendungskontext angemessen sind. Das ist ein rechtlicher Rahmen, kein Befehl.
• Eine belastbare Wahl beruht auf sieben Achsen: Latenzbudget, Reversibilität der Entscheidung, Kritikalität, Autonomieobergrenze, Rückfallpfad, Audit-Granularität und regulatorischer Risikograd. Wählen Sie die rechteste Spalte (die autonomste), die alle sieben Achsen erfüllt, niemals die ressourcensparendste.
• Ein Mensch neben einem Bildschirm ist noch keine Aufsicht. Ohne Eingriffsbefugnis, ohne Schulung und ohne messbare Eingriffsquote haben Sie das, was Verfassungsrechtlerinnen heute einen warmen Körper in der Schleife nennen: eine Compliance-Geste, die im ersten Audit kippt.

Woher die Begriffe stammen (und warum die meisten Artikel sie falsch wiedergeben)

Die Dreiteilung in/on/out-of-the-Loop ist keine Erfindung des maschinellen Lernens. Sie wurde 2012 von Bonnie Docherty in einem Bericht von Human Rights Watch über autonome Waffensysteme geprägt und kurz darauf von der DoD-Richtlinie 3000.09 (ursprünglich 2012, überarbeitet 2023) übernommen. Diese Richtlinie definiert die drei Betriebsmodi und verlangt, dass Kommandeure ein angemessenes Maß an menschlichem Urteil über den Einsatz von Gewalt behalten.

Zwischen 2018 und 2020 wanderte das Vokabular in die zivile KI ab, weil MLOps-Plattformen eine knappe Bezeichnung für Annotationspipelines und Ausnahmewarteschlangen benötigten. Herstellerblogs griffen die Begriffe auf. Als agentenbasierte KI 2025 das beherrschende Thema wurde, waren die Bezeichnungen allgegenwärtig und selten quellenbelegt.

Diese Herkunft ist nicht beiläufig. Erstens entstand die ursprüngliche Taxonomie für Kill-Chain-Entscheidungen, bei denen jeder Fehlgriff Leben kostet. Wer die Begriffe auf eine Inhaltsmoderations-Warteschlange überträgt, ohne diese Herkunft zu nennen, läuft Gefahr, die Strenge der Vokabel zu verwerfen. Zweitens hat der US-Gesetzgeber das Vokabular bereits weitergedreht: der National Defense Authorization Act FY2025 ersetzt human in the loop für das nukleare Kommando durch positive human actions, weil die Schleifen-Mitgliedschaft ohne entsprechende Handlung beansprucht wurde.

Behalten Sie die Bezeichnungen. Sie sind nützlich. Aber betrachten Sie sie als Entwurfsentscheidungen, nicht als Slogans.

Drei Definitionen, nebeneinander

Human-in-the-Loop (HITL)

Ein HITL-System hält an einer oder mehreren Entscheidungsstellen an und arbeitet erst nach ausdrücklicher menschlicher Freigabe weiter. Die KI übernimmt die schwere kognitive Last (Rangordnung, Extraktion, Risikobewertung), der Mensch ist die Schleuse.

Kanonische Beispiele:

• Das US-Marinekampfsystem Aegis im Modus Auto SM: das System bereitet die Engagement-Kette vor, die Schüsse erfordern eine positive menschliche Handlung.
• Die Kreditprüfung: das Modell formuliert eine Empfehlung, ein Bankmitarbeiter erteilt die Zustimmung. Artikel 22 DSGVO erzwingt diese Konstellation faktisch für vollständig automatisierte Entscheidungen mit Rechtsfolgen.
• Ein Radiologe, der einen von der KI markierten Befund bestätigt, bevor er in die Patientenakte eingeht.

Stärke: belastbare Verantwortungszuschreibung. Schwäche: der Durchsatz bricht ein, sobald jede einzelne Entscheidung eine Freigabe braucht. HITL hört auf, sinnvoll zu sein, sobald die Warteschlange schneller wächst, als der Prüfer aufmerksam prüfen kann (siehe Abschnitt zum Abstempeln).

Human-on-the-Loop (HOTL)

Ein HOTL-System läuft eigenständig und legt seine Trajektorie einer Aufsichtsperson offen, die eingreifen, übersteuern oder anhalten kann. Der Mensch sitzt auf dem Alarmpfad, nicht im kritischen Pfad.

Kanonische Beispiele:

• Inhaltsmoderation in sozialen Netzwerken: Klassifikatoren entscheiden über Millionen Beiträge pro Stunde, Moderatoren bearbeiten die Eskalationen und auditieren eine Stichprobe.
• Kartennetzwerk-Betrugserkennung: Transaktionen werden in zweistelligen Millisekunden entschieden, Analysten arbeiten die Ausnahmen ab und stimmen das Modell nach.
• Telemonitoring von Patienten: ein Algorithmus meldet Anomalien in Echtzeit, das Team bestätigt oder eskaliert.

Stärke: Skalierung. Schwäche: spätes Eingreifen. Bis ein Mensch eine Drift bemerkt, hat das System möglicherweise Tausende Entscheidungen festgeschrieben. HOTL steht und fällt mit Instrumentierung: Logging, Alarmierung, Zielwert für die Eingriffslatenz, Personalbemessung der Prüfwarteschlange.

Human-out-of-the-Loop (HOOTL) und Human-in-Command (HIC)

HOOTL bedeutet, dass zur Laufzeit kein Mensch beteiligt ist. Der Designer hat die Parameter gesetzt, das System läuft. Das ist der einzige Modus mit voller Autonomie; er ist für Entscheidungen mit niedrigem Einsatz und sehr hoher Frequenz vertretbar, etwa Empfehlungsreihenfolgen innerhalb einer Sitzung oder Mikro-Market-Making, sobald Sicherheitsschranken codiert sind.

HIC ist die Umkehrung: der Mensch bleibt der Prinzipal, die KI verlängert seinen Arm. Der Pilot im Autopiloten, der Chirurg an der OP-Konsole. Der Unterschied zu HITL liegt in der Eigentumsverhältnisse der Entscheidung. Bei HITL schlägt die KI vor, der Mensch genehmigt. Bei HIC entscheidet der Mensch, die KI führt präzise aus.

Die Taxonomie ist nicht erschöpfend; die akademische Literatur kennt Zwischenstufen wie Human-in-the-Process oder Human-Augmented Model. Für Governance-Zwecke reicht das Vierschema oben.

Die Entscheidungsmatrix mit sieben Achsen

Die meisten Glossare enden bei den Definitionen. Praktiker brauchen einen Selektor. Die folgende Matrix bewertet ein KI-System entlang sieben Achsen, von denen jede eine konkrete Governance-Bedingung trägt. Prüfen Sie jede Zeile, bewerten Sie Ihr System, wählen Sie die rechteste Spalte, die noch zu jeder Zeile passt.

Achse	HITL passend, wenn…	HOTL passend, wenn…	HOOTL passend, wenn…
Latenzbudget	Die Entscheidung darf Sekunden bis Minuten warten (Kreditvergabe, klinische Diagnose).	Die Entscheidung muss im Millisekundenbereich fallen, spätes Eingreifen ist aber wertvoll (Betrug, Moderation).	Die Entscheidung erfolgt in Mikrosekunden, ein Override ist praktisch ausgeschlossen (Anzeigenauktion, Paketrouting).
Reversibilität	Schwer oder nicht umkehrbar (Schuss, Operation, Strafmaß).	Mit Aufwand umkehrbar (Transaktionsstornierung, Wiederherstellung eines Beitrags).	Trivial umkehrbar oder folgenlos (Cache, Sortierung).
Kritikalität (Schadensobergrenze)	Worst Case bedroht Sicherheit, Grundrechte oder erheblichen Vermögensschaden.	Worst Case ist begrenzter Vermögensschaden oder behebbare Nutzerfriktion.	Worst Case ist vernachlässigbar (UX).
Autonomieobergrenze	Aktionsraum eng umrissen und vorab freigegeben.	Aktionsraum breit, aber Notabschaltung und Laufzeit-Leitplanken sind aktiv.	Voller Aktionsraum im Domänenrahmen; nur die Designvorgabe begrenzt das System.
Rückfallpfad	Eine geschulte Person ist im Dienst und kann ohne KI entscheiden.	Ein Degradationsmodus existiert (Cache-Antwort, Standardrichtlinie).	Kein menschlicher Rückfall nötig; das deterministische Minimum reicht.
Audit-Granularität	Jede Entscheidung muss einer namentlich benannten Person zuordenbar sein.	Jede Entscheidung muss einer Modellversion zuordenbar sein; der Override ist die Audit-Spur.	Aggregierter Nachweis, periodische Statistik.
Regulatorischer Risikograd	Hochrisiko gemäß Anhang III der KI-Verordnung, CE-MP Klasse IIa+, Artikel 22 DSGVO für vollständig automatisierte Entscheidungen.	Begrenztes Risiko gemäß KI-Verordnung, sektorale Verhaltenskodizes, interne Richtlinien.	Minimales Risiko gemäß KI-Verordnung, informelle Governance.

Die Regel, die diese Tabelle in ein Designwerkzeug verwandelt: wählen Sie die rechteste Spalte, die Ihr System in jeder Zeile einhalten kann, niemals die mit dem geringsten Engineering-Aufwand. Eine einzige Zeile, die HITL fordert, zieht den gesamten Entscheidungspfad nach links. HOTL bleibt anderswo im Ablauf möglich.

Verknüpfung mit Artikel 14 der KI-Verordnung

Artikel 14 der KI-Verordnung ist der rechtliche Anker der gesamten Debatte. Absatz 1 setzt die Mindestschwelle: Hochrisiko-KI-Systeme werden so konzipiert und entwickelt ..., dass sie wirksam von natürlichen Personen überwacht werden können, während sie verwendet werden. Absatz 3 kalibriert die Wahl: die Aufsichtsmaßnahmen sind den Risiken, dem Grad der Autonomie und dem Verwendungskontext des Hochrisiko-KI-Systems angemessen zu gestalten.

Was Artikel 14 nicht sagt, ist mindestens so wichtig. Er verlangt nicht, dass ein Mensch jede Entscheidung freigibt. Er nennt weder HITL noch HOTL. Er verlangt, dass das System so gestaltet ist, dass eine Person verstehen, überwachen, eingreifen und anhalten kann und dass diese Fähigkeiten verhältnismäßig sind. Das ist ein Designauftrag, kein Betriebsmodus.

Die operative Lesart:

• Hochrisiko-Systeme (Anhang III): HITL oder ein starkes HOTL mit namentlich benannter Eingriffsbefugnis. Artikel 14 Absatz 4 Buchstabe d verlangt ausdrücklich, dass eine Person entscheiden kann, das Hochrisiko-KI-System nicht zu verwenden oder seine Ausgabe außer Acht zu lassen, sie zu überschreiben oder umzukehren. Wenn Ihr HOTL nicht zeigen kann, dass die Aufsichtsperson rechtzeitig handelt, ist Artikel 14 nicht erfüllt.
• Systeme mit begrenztem Risiko: Transparenzpflichten nach Artikel 50, mindestens HOTL. Die Aufsichtsperson muss nicht jede Aktion genehmigen, sie muss sehen und stoppen können.
• General-Purpose-KI (GPAI): die Aufsichtspflichten verschieben sich auf die Lebenszyklus-Steuerung des Modells gemäß Artikel 51 bis 55 (technische Dokumentation, Urheberrechtspolitik, Zusammenfassung der Trainingsdaten, bei systemischem Risiko zusätzlich adversariale Bewertung und Vorfallsmeldung). HITL/HOTL kehren auf der Ebene des Bereitstellers zurück, wenn das GPAI in ein nachgelagertes Hochrisiko-Produkt integriert wird.
• Verbotene Systeme (Artikel 5): die Frage nach dem Aufsichtsmodus ist gegenstandslos.

Das BSI und die BaFin arbeiten ihre sektorale Lesart von Artikel 14 schrittweise aus. Der SSRN-Beitrag von Melanie Fink ist Pflichtlektüre: er belegt, dass Artikel 14 die operative Umsetzung weitgehend dem Bereitsteller überlässt, womit Designentscheidungen zur faktischen Compliance-Haltung werden.

Anschluss an ISO/IEC 42001 und das NIST AI RMF

Während die KI-Verordnung den rechtlichen Anker stellt, bildet ISO/IEC 42001 das Rückgrat des Managementsystems und das NIST AI RMF das Vokabular der Entwicklung. Die drei greifen ineinander:

• ISO/IEC 42001 §6.1.4 (operative Planung) und Anhang A.6.2.6 (Menschliche Aufsicht) verlangen, dass die Organisation Aufsichtsmaßnahmen im Rahmen ihres KI-Managementsystems definiert, umsetzt und pflegt. Die Norm schreibt weder HITL noch HOTL vor, sie verlangt den Nachweis einer bewussten und geprüften Wahl.
• NIST AI RMF GOVERN-1.4 (Prozesse zur Bestimmung des erforderlichen Niveaus von Risikomanagement-Aktivitäten basierend auf der Risikobereitschaft der Organisation) und MANAGE-2.4 (Mechanismen, um KI-Systeme zu übersteuern, abzuschalten oder zu deaktivieren, wenn ihr Verhalten vom vorgesehenen Zweck abweicht) sind die architektonische und die laufzeitorientierte Spiegelung von Artikel 14.
• Die offizielle AIRC-Übersicht bildet die beiden Normen Zeile für Zeile aufeinander ab.

Die praktische Haltung: tragen Sie den Aufsichtsmodus in die ISO 42001-Anwendbarkeitserklärung ein, begründen Sie ihn mit der Sieben-Achsen-Matrix, instrumentieren Sie ihn wie MANAGE-2.4 verlangt, und Sie haben eine schlüssige Antwort auf eine Artikel 14-Prüfung, eine ISO-Zertifizierungsprüfung und einen NIST-ausgerichteten Kundenfragebogen.

Die Falle des Abstempelns

Mehr HITL als das System benötigt, ist schlechter als weniger. Wenn eine Prüfperson eine Schicht lang Tausende Bitte freigeben-Einträge verarbeitet, sinkt die Aufmerksamkeit und die Freigabe wird reflexhaft. Das Verfassungsblog nennt das einen warmen Körper in der Schleife: eine nominelle Aufsicht, die eine Häkchen-Checkliste erfüllt und kein reales Korrektiv darstellt. Prüfer bemerken das.

Vier Designmaßnahmen gelten inzwischen als Baseline:

1. Konfidenzgesteuerte Eskalation. Die Prüfperson sieht nur die Fälle, die das Modell selbst als unsicher markiert, oder eine QA-Stichprobe. Der Hochkonfidenzpfad wird im Batch auditiert, nicht einzeln.
2. Eingriffsquote als Leitgröße. Verfolgen Sie den Anteil der KI-Entscheidungen, die durch Prüfer umgekehrt werden, über die Zeit. Eine Quote bei null deutet auf Abstempeln, eine Quote über zwanzig Prozent auf ein gebrochenes Modell. Die zulässige Bandbreite hängt vom Anwendungsfall ab, der Punkt ist, dass die Kennzahl überhaupt gemessen wird.
3. Schulung und Rotation der Prüfer. Artikel 14 Absatz 4 Buchstabe b nennt Schulung ausdrücklich. Prüfer müssen domänengeschult sein, gegen Ermüdung rotieren und mit gesetzten Fehlern getestet werden.
4. Eingriffslatenz. Messen Sie die Zeit zwischen Anomalie und menschlicher Handlung. Liegt der Median über der Zeit, die das KI-System benötigt, um eine falsche Ausgabe festzuschreiben, ist Ihr HOTL Theater.

Diese vier Punkte trennen wir haben einen Menschen in der Schleife von wir haben wirksame menschliche Aufsicht im Sinne von Artikel 14. Auditoren verlangen zunehmend die zweite Formulierung.

Aufsicht nach Branchen

Der Aufsichtsmodus, der einen Audit übersteht, ist branchenspezifisch, weil Risikograde es sind.

• Gesundheit: HITL als Standard für alle diagnostischen Ausgaben, die in die Patientenakte einfließen. Artikel 14 kombiniert sich mit der MDR und mit der FDA-Software-as-a-Medical-Device-Praxis. HOTL ist für Triage und Monitoring akzeptabel, sobald die Falsch-Negativ-Rate durch klinische Studie begrenzt ist.
• Finanzdienstleistungen: HITL für Kredit- und Zeichnungsentscheidungen über natürliche Personen (Artikel 22 DSGVO), HOTL für Transaktionsüberwachung und Betrugserkennung. Die BaFin formuliert ihre Erwartungen an interne Modelle in mehreren Aufsätzen.
• Öffentliche Hand und Justiz: Sonderfall. Die Oxford-IJLIT-Arbeit von 2026 zu Richtern in der Schleife argumentiert, dass bei Hochrisiko-Entscheidungshilfen in der Rechtsprechung die Aufsicht durch die Entscheiderträgerin selbst erfolgen muss, nicht durch Dritte, andernfalls liegt keine wirksame menschliche Kontrolle vor.
• Autonome Mobilität: HOTL im Linienbetrieb, mit HITL-Eskalation über ein Fernoperationszentrum. HOOTL bleibt den Steuerungsschleifen unter einer Sekunde vorbehalten, in denen menschliche Latenz physikalisch ausgeschlossen ist.
• Inhalte und Suche: HOTL mit konfidenzgesteuerter Stichprobe ist Standard. HITL wird zwingend, sobald die Entfernung politische Äußerungen oder andere grundrechtlich aufgeladene Kategorien betrifft.

Die Querlesung: je höher die Schadensobergrenze, desto weiter drückt die Matrix nach links; je enger das Latenzbudget, desto weiter nach rechts. Reale Systeme leben in der Schnittmenge.

Wie Sie Aufsicht in Ihrem System umsetzen

Ein Ablauf in fünf Schritten verbindet die Matrix mit der ISO 42001-Dokumentation und mit dem Auditnachweis nach Artikel 14:

1. Klassifizieren Sie das KI-System anhand der Risikograde der KI-Verordnung, Artikel 22 DSGVO, der Sektorregeln und vertraglicher Pflichten. Das bestimmt die Zeile Regulatorischer Risikograd.
2. Bewerten Sie das System auf den übrigen sechs Achsen. Notieren Sie die Bewertungen. Der Modus folgt aus den Bewertungen.
3. Dokumentieren Sie die Wahl in der Anwendbarkeitserklärung nach ISO 42001 (Anhang A.6.2.6) mit Verweis auf die Matrix und einer gezeichneten Begründung.
4. Instrumentieren Sie die Laufzeit. Eingriffspfad, Zielwert der Eingriffslatenz, Audit-Spur je Entscheidung (oder je Modellversion, abhängig von der Zeile), Schulungsnachweise, Dashboard zur Eingriffsquote.
5. Prüfen Sie quartalsweise. Eingriffsquote, Falschstempelquote (Stichprobenprüfung der Freigegebenen), Ermüdungssignale der Prüfer, regulatorische und technische Verschiebungen, die eine Zeile beeinflussen.

Die Schleife schließt sich, wenn das Dashboard die ursprüngliche Wahl bestätigt oder eine verschobene Zeile aufzeigt; dann wird neu bewertet und die SoA aktualisiert. Teams, die KI-Governance auf Portfolioniveau steuern, kommen spätestens hier zu einem dedizierten Werkzeug. AI Sigil ist genau für diesen Ablauf gebaut.

Häufige Fragen

Gibt es einen echten Unterschied zwischen Human-in-the-Loop und Human-on-the-Loop? Ja. HITL hält die KI an und wartet auf eine Freigabe. HOTL lässt die KI handeln und gibt einem Menschen die Fähigkeit zur Überwachung und Korrektur. Der Unterschied ist nicht ästhetisch: er verändert Latenzbudget, Audit-Spur, Personalmodell und regulatorische Exposition. Die beiden gleichzusetzen ist eine Form der Compliance-Schuld auf Zeit.

Was bedeutet Human-on-the-Loop in einfacher Sprache? Die KI erledigt die Arbeit, ein Mensch überwacht, kann sie stoppen und prüft eine Stichprobe der Ausgaben. Es ist die richtige Einstellung, wenn weder jede Entscheidung freigegeben werden kann noch das System unbeobachtet laufen darf.

Wer hat den Begriff Human-in-the-Loop geprägt? Der Ausdruck existierte bereits in der Modellierungs- und Simulationsliteratur, die moderne Dreiteilung wurde aber 2012 von Bonnie Docherty im Human-Rights-Watch-Bericht Losing Humanity geprägt. Das US-Verteidigungsministerium übernahm sie kurz darauf in die Richtlinie 3000.09.

Wo nennt die KI-Verordnung Human-in-the-Loop? Nicht ausdrücklich. Artikel 14 verlangt eine wirksame Aufsicht durch natürliche Personen, listet vier Aufsichtsfähigkeiten (verstehen, überwachen, eingreifen, anhalten) und ordnet eine Verhältnismäßigkeit an. HITL und HOTL sind die Werkzeuge, mit denen der Bereitsteller diesen Auftrag erfüllt.

Reicht Human-in-the-Loop für ein Hochrisiko-System? Nur, wenn es echt ist. Artikel 14 Absatz 4 verlangt, dass die Aufsichtsperson verstehen, überwachen, eingreifen, anhalten und übersteuern kann. Eine nominelle Freigabe genügt nicht. Eingriffsquote, Eingriffslatenz und Schulung sind die Belege, die im Audit verlangt werden.

Was ist Human-in-Command und wie unterscheidet es sich? Bei HIC bleibt der Mensch der Hauptentscheider, die KI verlängert seinen Arm: Pilot im Autopiloten, Chirurg an der OP-Konsole. Der Unterschied zu HITL liegt in der Eigentumsverhältnisse der Entscheidung: bei HITL schlägt die KI vor, der Mensch genehmigt; bei HIC entscheidet der Mensch, die KI führt aus.

Lassen sich Modi im selben System kombinieren? Ja, das ist die Regel im Produktivbetrieb. Lassen Sie HOTL über die Massen-Pipeline laufen, leiten Sie unsichere Fälle in eine HITL-Schlange, behalten Sie HOOTL für Rückkopplungsschleifen, die keine Latenz dulden. Die Matrix gilt pro Entscheidungspfad, nicht pro System.

Schluss

Die Schleifen-Bezeichnungen sind keine Marketingformel. Sie verdichten ein Jahrzehnt Debatte über die zulässige Autonomie einer Maschine bei Entscheidungen über Leben und Tod. Die zivile Governance hat das Vokabular geerbt und damit die Pflicht, es präzise zu verwenden.

Die tragfähige Haltung ist strukturell. Bewerten Sie jeden Entscheidungspfad auf den sieben Achsen. Wählen Sie den autonomsten Modus, den die Bewertungen zulassen. Tragen Sie Modus und Begründung in die ISO-42001-SoA. Instrumentieren Sie den Eingriffspfad mit der Strenge, die Artikel 14 Absatz 4 Buchstabe d und MANAGE-2.4 verlangen. Verfolgen Sie Eingriffsquote und Falschstempelquote. Bewerten Sie neu, wenn System, Daten oder Recht sich ändern.

Die Alternative, eine Bezeichnung zu wählen, weil ein Herstellerblog sie verwendet hat, ist der direkte Weg zum Häkchen in der Checkliste und zum Auditbefund. Die Matrix ist der Weg, das ausgewählte Schild auf das tatsächliche System zu spannen.

Für eine vertiefte Lektüre zu Artikel 14 selbst ist die AI-Sigil-Analyse das Pendant zu diesem Beitrag. Für die ISO-42001-Kartierung der Kontrollen ist der ISO-Pillar der nächste Halt.