97 Prozent durchgewunken: Warum eine Freigabe allein nicht schützt

„Human in the Loop“ klingt nach Sicherheit und Kontrolle: Der Agent fragt, du gibst frei. Aber wie genau liest du diese Rückfragen eigentlich noch? Anthropic hat im August 2026 selbst veröffentlicht, wie die Antwort aussieht: Du winkst vermutlich ohnehin 97 Prozent aller Rückfragen von Claude Code durch. Damit laufen wir fast alle auf Auto-Modus.

Wenn „Human in the Loop“ dein Sicherheitskonzept ist, gilt diese Zahl auch für dich. Eine Freigabe schützt nur, solange du sie wirklich liest, durchdenkst und bewusst entscheidest.

Die Zahl kommt von einem der großen KI-Modell-Hersteller

Anthropic begründete die Umstellung selbst mit der eigenen Nutzungsstatistik: 97 Prozent aller Freigaben werden bestätigt, ohne dass sich am Verhalten noch etwas ändert. Nach 50 Prompts in derselben Sitzung stoppen Entwickler nur noch 5 statt 17 Prozent der tatsächlich gefährlichen Befehle.

Das ist eine klare Gewöhnungskurve, und Bequemlichkeit spielt mit. Je öfter ein Dialog erscheint, desto zuverlässiger klickst du ihn weg, egal was darin steht. Hinzu kommt, dass vieles plausibel wirkt, vor allem wenn das LLM eine begründete Empfehlung mitliefert.

Wie groß ist die Lücke tatsächlich?

Eine zweite Messung kommt von The Register. Sie wertete im August über 40.000 Testläufe mit 409.000 Einzelentscheidungen aus. Das Ergebnis: Rund ein Drittel der bösartigen Agenten-Anfragen wurde freigegeben, und 35 Prozent der Zugriffsversuche auf AWS-Zugangsdaten und Kubernetes-Konfigurationen blieben unbemerkt. Bei echten, alltäglichen Prompts lag die Zustimmungsrate laut Anthropics eigener Telemetrie sogar bei 93 Prozent.

Die 97 Prozent von Anthropic und das Drittel von The Register zeigen denselben Effekt aus zwei unabhängigen Richtungen: Ein Freigabedialog, der oft genug erscheint, ist keine echte Prüfung mehr. Wir stumpfen ab.

Und wenn du es dem KI-Agenten schriftlich verbietest?

Der Extremfall zeigt, dass der Mechanismus auch außerhalb des Terminals wirkt. Eine Studie zu vier Coding-Agenten, über die The New Stack im August berichtete, hat es geprüft: Die Beitragsregeln eines Projekts, festgehalten in einer CONTRIBUTING.md (einer Markdown-Datei mit Anweisungen), wurden nur in 3,5 Prozent der Läufe überhaupt geöffnet. Ein ausdrückliches Verbot von KI-Beiträgen befolgte in 118 Läufen kein einziger Agent. Das leistungsstärkste getestete Modell hielt an seinem Beitrag sogar fest, nachdem es wörtlich zum Rückzug aufgefordert wurde.

Eine Regel, die niemand öffnet, schützt so wenig wie ein Dialog, den niemand mehr liest.

Der Mechanismus ist immer derselbe

Alle drei Befunde haben dieselbe Ursache: Ein Verfahren, das auf deiner Aufmerksamkeit beruht, verbraucht genau diese Aufmerksamkeit mit jeder Wiederholung. Der Klick-Dialog im Terminal nutzt sich dabei genauso ab wie die Projektregel in der Textdatei.

Die Idee hinter „Human in the Loop“ bleibt richtig: Jemand soll die kritische Stelle sehen. Der Haken liegt in der stillen Annahme, dass du das auch dann noch tust, wenn der Vorgang zur Routine geworden ist.

Kontrolle, die nicht von deiner Aufmerksamkeit abhängt

Deshalb setzen wir bei software. but right. direkt am Code an. Du prüfst das Ergebnis, nicht die Zustimmung dazu.

Jede Änderung durchläuft automatisierte Tests und ein menschliches Review am Pull Request, egal wie oft an diesem Tag schon etwas freigegeben wurde. Die Agenten arbeiten ohne Zugriff auf deine Produktivdaten. Und Freigaben bleiben so selten, dass du sie tatsächlich liest, statt sie bei der hundertsten Wiederholung nur noch abzuhaken.