Menschliche Aufsicht bei KI: Warum Human-in-the-loop entscheidend ist

Menschliche Aufsicht bei KI ist ein oft zitiertes, aber selten konkret ausgestaltetes Prinzip. Viele KI-Richtlinien enthalten einen Satz wie „Der Mensch behält die Kontrolle“. Was das im Alltag bedeutet, wer eingreifen kann, wann und mit welchen Informationen, bleibt oft offen.

Der Beitrag richtet sich an Geschäftsführung, Fachbereichsleitungen und IT-Verantwortliche, die KI in Abläufe einbinden. Er erklärt die gängigen Formen von Human-in-the-loop und verwandten Modellen, ordnet die Anforderungen aus AI Act und DSGVO ein und zeigt, wie Aufsicht so gestaltet wird, dass sie tatsächlich wirkt. Stand der Angaben: 29. Oktober 2026.

Vorab eine Klarstellung: Es gibt keine allgemeine Regel, nach der KI nie eigenständig arbeiten darf. Ebenso wenig ist Autonomie grundsätzlich unproblematisch. Entscheidend ist, wie viel menschliche Kontrolle ein konkreter Anwendungsfall braucht.

Was menschliche Aufsicht bei KI bedeutet

Menschliche Aufsicht heißt, dass natürliche Personen das Verhalten eines KI-Systems verstehen, seine Ergebnisse einordnen und bei Bedarf eingreifen können. Dahinter steht eine einfache Überlegung: KI-Systeme arbeiten statistisch. Sie können sich irren, ohne es zu bemerken, und sie tragen keine Verantwortung für die Folgen ihrer Ergebnisse. Diese Verantwortung bleibt bei der Organisation und den handelnden Personen.

Aufsicht ist deshalb mehr als eine Unterschrift unter ein Ergebnis. Sie umfasst Verständnis (Wofür ist das System geeignet, wofür nicht?), Bewertung (Ist dieses Ergebnis plausibel?), Eingriff (Kann ich es verwerfen, korrigieren oder das System anhalten?) und Rückkopplung (Fließen erkannte Fehler in Verbesserungen ein?).

Human-in-the-loop, on-the-loop, over-the-loop: die Formen im Überblick

In der Fachdiskussion haben sich drei Begriffe etabliert. Sie sind keine Rechtsbegriffe, helfen aber, den Grad der Kontrolle zu beschreiben.

• Human-in-the-loop: Ein Mensch ist Teil jedes Entscheidungsschritts. Die KI schlägt vor, der Mensch prüft und entscheidet. Beispiel: Ein KI-System entwirft Antworten auf Kundenanfragen, eine Mitarbeiterin liest jede Antwort und gibt sie frei.
• Human-on-the-loop: Die KI handelt eigenständig, ein Mensch überwacht laufend und kann eingreifen. Beispiel: Ein System sortiert eingehende Rechnungen automatisch vor, ein Sachbearbeiter sieht ein Dashboard mit Auffälligkeiten und korrigiert bei Bedarf.
• Human-over-the-loop (auch Human-in-command): Menschen legen Rahmen, Ziele und Grenzen fest, prüfen das System in Abständen und entscheiden über Einsatz, Änderung oder Abschaltung, ohne einzelne Entscheidungen zu begleiten.

Keine dieser Formen ist per se richtig. Ein Textassistent für interne Entwürfe braucht keine Freigabe jedes Satzes. Ein System, das Zahlungen auslöst oder über Menschen urteilt, braucht dagegen enge Kontrolle. Bei KI-Agenten mit Werkzeugzugriff wird diese Abwägung besonders wichtig; dazu mehr im Beitrag zur Sicherheit von KI-Agenten.

Was AI Act und DSGVO zur menschlichen Aufsicht verlangen

Art. 14 AI Act: Aufsicht als Designanforderung an Anbieter

Für Hochrisiko-KI-Systeme verlangt Art. 14 der Verordnung (EU) 2024/1689, dass sie so konzipiert und entwickelt werden, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Das ist in erster Linie eine Pflicht des Anbieters. Die beaufsichtigenden Personen sollen nach Art. 14 Abs. 4 unter anderem in die Lage versetzt werden,

• Fähigkeiten und Grenzen des Systems zu verstehen und Anomalien zu erkennen,
• sich der Neigung bewusst zu bleiben, sich übermäßig auf Ergebnisse zu verlassen (Automation Bias),
• Ergebnisse richtig zu interpretieren,
• im Einzelfall zu entscheiden, das System nicht zu nutzen oder ein Ergebnis zu übergehen oder rückgängig zu machen,
• in den Betrieb einzugreifen oder ihn über eine Stopp-Funktion in einen sicheren Zustand zu bringen.

Diese Liste ist auch außerhalb des Hochrisiko-Bereichs eine nützliche Gestaltungsvorlage.

Art. 26 Abs. 2 AI Act: Aufsicht im Betrieb

Für Betreiber von Hochrisiko-Systemen verlangt Art. 26 Abs. 2, die menschliche Aufsicht natürlichen Personen zu übertragen, die über die nötige Kompetenz, Ausbildung und Befugnis verfügen und die nötige Unterstützung erhalten. Anwendbar wird diese Pflicht am 2. Dezember 2027 für Anhang-III-Systeme und am 2. August 2028 für Systeme nach Anhang I (Termine geändert durch den AI-Omnibus, Verordnung (EU) 2026/1744).

Für die meisten KI-Anwendungen in kleinen und mittleren Unternehmen, etwa Schreibassistenten oder Chatbots für allgemeine Anfragen, gelten diese Hochrisiko-Pflichten nicht. Eine allgemeine gesetzliche Pflicht zu menschlicher Aufsicht für jedes KI-System gibt es nicht. Menschliche Kontrolle bleibt dort trotzdem gute Praxis, weil sie Fehler abfängt, bevor sie Kunden oder Geschäftsprozesse erreichen. Ob ein bestimmtes System als Hochrisiko-System gilt, ist eine Frage des Einzelfalls, die im Zweifel rechtlich geklärt werden sollte.

Art. 22 DSGVO: automatisierte Einzelentscheidungen

Unabhängig vom AI Act gilt Art. 22 DSGVO. Danach haben betroffene Personen grundsätzlich das Recht, keiner ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Die Vorschrift kennt Ausnahmen, etwa bei Erforderlichkeit für einen Vertrag oder bei ausdrücklicher Einwilligung, verlangt dann aber Schutzmaßnahmen, darunter das Recht auf Eingreifen einer Person.

Für die Praxis heißt das: Wer KI über Kreditrahmen, Vertragskonditionen oder Bewerbungen entscheiden lässt, muss Art. 22 DSGVO prüfen. Eine nur formale Beteiligung eines Menschen, der das Ergebnis ohne eigene Prüfung übernimmt, dürfte dabei kaum als echte menschliche Entscheidung gelten.

Automation Bias: die stille Schwachstelle

Die größte Gefahr für menschliche Aufsicht ist nicht ihr Fehlen, sondern ihre Aushöhlung. Automation Bias beschreibt die Neigung, maschinellen Ergebnissen mehr zu vertrauen als dem eigenen Urteil, besonders unter Zeitdruck und wenn das System meistens richtig liegt. Wer hundert korrekte Vorschläge bestätigt hat, prüft den hunderteinsten weniger genau.

Art. 14 AI Act nennt dieses Phänomen ausdrücklich. Gegenmaßnahmen sind vor allem organisatorisch:

• Realistische Arbeitsmengen: Prüfung braucht Zeit. Wer pro Stunde Hunderte KI-Vorschläge freigeben soll, prüft nicht mehr.
• Begründungen sichtbar machen: Systeme, die Quellen oder Entscheidungsfaktoren anzeigen, lassen sich besser beurteilen.
• Unsicherheit kennzeichnen: Ergebnisse mit geringer Zuverlässigkeit hervorheben, statt alle gleich aussehen zu lassen.
• Stichproben und Gegenprüfungen: Einzelne Fälle unabhängig prüfen lassen, um schleichende Qualitätsverluste zu erkennen.
• Schulung: Beschäftigte sollten wissen, wie das System typischerweise irrt. Das ist auch Teil der KI-Kompetenz nach Art. 4 AI Act.

Eingriff, Verantwortung und Monitoring gestalten

Wirksame Aufsicht braucht klare Antworten auf vier Fragen:

1. Wer ist zuständig? Für jedes System sollte feststehen, wer Ergebnisse prüft, wer über Abweichungen entscheidet und wer das System anhalten darf. Diese Zuordnung gehört in die Dokumentation des KI-Systems.
2. Wie wird eingegriffen? Korrigieren, verwerfen, an eine Fachperson weiterleiten, das System pausieren: Diese Wege müssen technisch vorhanden und bekannt sein.
3. Wann wird eskaliert? Schwellen festlegen, ab denen ein Fall zwingend an einen Menschen geht, etwa bei hohen Beträgen, Beschwerden, rechtlich sensiblen Themen oder geringer Sicherheit des Modells.
4. Wie wird überwacht? Fehlerraten, Beschwerden und Korrekturen regelmäßig auswerten. Steigt die Zahl der Korrekturen, ist das ein Signal für Datenveränderungen oder ein Modellproblem.

Ein hypothetisches Beispiel zur Veranschaulichung: Ein Onlinehändler lässt Rückerstattungsanfragen von einer KI vorbewerten. Bis 50 Euro bei eindeutiger Sachlage erstattet das System selbst (on-the-loop, mit täglicher Stichprobe). Darüber oder bei Unklarheiten schlägt es nur vor, eine Mitarbeiterin entscheidet (in-the-loop). Die Leitung prüft quartalsweise Schwellen und Fehlerquoten (over-the-loop). Die Grenze von 50 Euro ist im Bestellsystem technisch hinterlegt, nicht nur im Prompt. Wie leicht sprachliche Vorgaben ausgehebelt werden können, zeigt das Beispiel zu Prompt Injection und Rabattcodes.

Grenzen automatisierter Entscheidungen

Bestimmte Entscheidungen sollten aus meiner Sicht grundsätzlich nicht allein einer KI überlassen werden, auch wenn das rechtlich im Einzelfall zulässig wäre: Entscheidungen mit erheblichen Folgen für einzelne Menschen, Vorgänge mit hohem finanziellem Risiko, irreversible Aktionen wie das Löschen von Daten und alles, was rechtliche Verbindlichkeit gegenüber Dritten erzeugt.

Umgekehrt ist enge Kontrolle nicht überall sinnvoll. Wer jeden automatisch erzeugten Besprechungsentwurf freigeben lässt, bindet Kapazität, die an kritischen Stellen fehlt. Die richtige Dichte der Aufsicht ergibt sich aus der Risikobewertung des konkreten Anwendungsfalls. Wie diese methodisch erfolgt, beschreibt der Beitrag zum KI-Risikomanagement.

Was Sie jetzt tun können

1. Anwendungsfälle einordnen: Für jedes KI-System festlegen, ob es in-the-loop, on-the-loop oder over-the-loop betrieben wird, und das begründen.
2. Harte Grenzen technisch umsetzen: Beträge, Berechtigungen und unumkehrbare Aktionen außerhalb des Modells absichern.
3. Verantwortliche benennen und befähigen: Personen mit Aufsichtsaufgaben schulen, ihnen Zeit und Entscheidungsbefugnis geben.
4. Art. 22 DSGVO prüfen, sobald KI an Entscheidungen über Personen mit rechtlicher oder ähnlich erheblicher Wirkung beteiligt ist.
5. Automation Bias begegnen: Arbeitsmengen begrenzen, Unsicherheiten anzeigen, Stichproben einführen.
6. Wirksamkeit messen: Korrekturquoten und Eskalationen auswerten und die Aufsicht anpassen.

Wenn Sie diese Schritte strukturiert angehen möchten, finden Sie bei KI Security Audit Begleitung zur KI-Governance nach dem EU AI Act.

Fazit

Menschliche Aufsicht ist kein Formalakt und kein Selbstzweck. Sie wirkt nur, wenn Menschen verstehen, was ein System kann, genug Zeit und Befugnis zum Eingreifen haben und ihre Kontrolle nicht durch Gewöhnung verflacht. Für Betreiber von Hochrisiko-Systemen wird sie ab dem 2. Dezember 2027 (Anhang III) bzw. 2. August 2028 (Anhang I) Pflicht, für automatisierte Entscheidungen über Personen gilt Art. 22 DSGVO seit dem 25. Mai 2018. Für alle anderen Anwendungen ist sie gute Praxis, deren Dichte sich am Risiko orientieren sollte.

Quellen

• Verordnung (EU) 2024/1689 (KI-Verordnung), Amtsblatt der Europäischen Union
• Verordnung (EU) 2026/1744 (AI-Omnibus), Amtsblatt der Europäischen Union
• Artikel 14: Menschliche Aufsicht, konsolidierte Fassung, AI Act Service Desk der Europäischen Kommission
• Artikel 26: Pflichten der Betreiber von Hochrisiko-KI-Systemen, konsolidierte Fassung, AI Act Service Desk der Europäischen Kommission
• AI Act – Regulatory framework for AI, Europäische Kommission
• Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Amtsblatt der Europäischen Union