Wann ist KI-Code fertig? Was ein Benchmark offenlegt

Kurz gesagt: Fast fertig ist im Betrieb nicht fertig. Ein neuer Benchmark lässt zehn KI-Modelle echte Änderungswünsche an bestehenden Anwendungen bearbeiten. Das stärkste Modell erfüllt laut dem Vorabdruck im Schnitt 69,9 Prozent der Abnahmekriterien je Aufgabe, aber nur bei 26,4 Prozent der Aufgaben alle. Die Aufgaben sind dabei bewusst schwierig gewählt, und das Ergebnis stammt aus einem Vorabdruck. Trotzdem zeigt der Abstand etwas Grundsätzliches: Wer nur fragt, ob es funktioniert, übersieht, was fehlt.

Wenn dir das reicht, kannst du hier aufhören. Wenn du wissen willst, was genau gemessen wurde, wo die Grenzen der Studie liegen und was du vor deinem nächsten Softwareprojekt festlegen solltest, lies weiter.

Was der Benchmark messbar zeigt

Der Benchmark heißt Co-Design Bench und liegt als Vorabdruck auf arXiv vom 26. Oktober 2026 vor. The Decoder berichtete am 8. November 2026 darüber. Grundlage sind 273 Aufgaben, die aus echten Änderungswünschen von Nutzern an bestehenden Anwendungen stammen. Zehn Modelle haben sie bearbeitet, bewertet wurde gegen 2.331 verdeckte Abnahmekriterien, die Fachleute geschrieben haben. Ein Abnahmekriterium ist ein einzelner Punkt, an dem sich entscheidet, ob eine Änderung ihren Zweck erfüllt, und „verdeckt“ heißt, dass die Modelle ihn vorher nicht gesehen haben. Laut The Decoder führt ein KI-Prüfer die Anwendung im Browser aus, ein zweiter prüft positive Urteile auf Schummelei.

Das stärkste der zehn Modelle erfüllt laut Paper im Schnitt 69,9 Prozent der Kriterien je Aufgabe. Alle Kriterien erfüllt es aber nur bei 26,4 Prozent der Aufgaben. Bei Änderungen an mehreren Stellen eines Projekts, mit drei oder vier Änderungstypen, erfüllen laut Abstract alle zehn Modelle weniger Kriterien als bei ein oder zwei Typen.

Der Abstand zwischen den beiden Zahlen ist der Befund, für diese bewusst schwierige Auswahl. Für die Aussagekraft gelten Grenzen. Die Aufgaben sind keine Stichprobe des Alltags: Laut Methodik des Papers wurden sie nach Schwierigkeit und früheren Fehlschlägen ausgewählt, etwa nach Umformulierungen und Rücknahmen in den ursprünglichen Sitzungen. Jedes Modell bekam eine feste Anfrage, ohne Rückfragen und ohne dass ein Mensch nachbessert. Geprüft wurde mit KI-Prüfern, die sich irren können. Und es handelt sich um einen Vorabdruck, der nach unserem Kenntnisstand nicht begutachtet ist. Unsere Empfehlung: Lies die 26,4 Prozent als Hinweis auf eine Lücke bei schwierigen Aufgaben. Wie oft KI-Code im Alltag scheitert, sagt die Zahl nicht.

Fast fertig ist im Betrieb nicht fertig

Eine Änderung, die einen Teil der Anforderungen verfehlt, ist im Betrieb ein Fehler und kein halber Erfolg. Das ist unsere Lesart, sie steht so nicht im Paper. Stell dir vor, bei einer Änderung funktioniert die Mehrheit der vereinbarten Punkte. Das klingt nach viel. Fehlt aber ausgerechnet der Punkt, den deine Kunden täglich brauchen, nützt dir die Mehrheit nichts. Im Alltag fällt der fehlende Teil selten sofort auf, denn der erste Eindruck stimmt: Die Seite lädt, der Button reagiert, es sieht fertig aus. Wer in dieser Lage nur nickt, bemerkt die Lücke erst, wenn sie jemandem im Betrieb begegnet. Wie leicht eine Freigabe zur Routine wird, haben wir an anderer Stelle beschrieben.

Drei Festlegungen vor dem Projektstart

Der Benchmark prüft Modelle, aber die Lehre betrifft jede Zusammenarbeit, in der KI Code schreibt. Drei Fragen helfen, bevor ein Projekt beginnt. Woran messen wir „fertig“, und steht das fest, bevor der erste Code entsteht? Sind die Kriterien mit deinem Dienstleister schriftlich festgehalten, kurz und prüfbar, ist die Antwort Ja. Siehst du regelmäßig einen lauffähigen Stand, den du selbst öffnen und ausprobieren kannst? Ja, wenn du in kurzen Abständen etwas Echtes in die Hand bekommst, Nein, wenn du nur Berichte bekommst.

Und wer nimmt ab, und wann gilt eine Änderung als Korrektur oder als Erweiterung? Diese Unterscheidung entscheidet darüber, wer für den fehlenden Teil aufkommt, und sie lässt sich leicht vorher klären.

Bei uns gibt es wöchentlich einen lauffähigen Stand. Korrekturen sind eingeschlossen, Erweiterungen besprechen wir offen, bevor sie entstehen. Wie ein wöchentlicher lauffähiger Stand Fehler früh sichtbar macht, steht in einem eigenen Beitrag. Wir können uns also ganz einfach merken: Fertig ist, was alle vereinbarten Kriterien erfüllt, und die legst du fest, bevor der Code entsteht. Ein hoher Anteil erfüllter Punkte ist ein Zwischenstand. Behandle ihn auch so, solange du nicht selbst einen lauffähigen Stand geprüft hast.

Was wir nicht wissen

Wir haben vom Paper den Abstract und die Abschnitte zu Aufgabenauswahl und Bewertung gelesen, die Tabellen und den Anhang nicht im Einzelnen. Offen ist, ob sich die Zahlen auf Teams übertragen lassen, in denen Menschen nachbessern und prüfen, denn der Test erlaubt das nicht. Ob andere Benchmarks dasselbe Bild zeigen, haben wir nicht untersucht. Die Autorinnen und Autoren kommen laut The Decoder von Alibaba und mehreren Hochschulen in Asien, und unter den getesteten Modellen sind auch Modelle von Alibaba. Wir werten das nicht, nennen es aber der Vollständigkeit halber.

Hinweis

Dieser Beitrag ordnet einen Vorabdruck und einen Medienbericht darüber ein und verlinkt die Quellen. Die Zahlen gelten für die Testanordnung der Studie und sind keine Aussage über einzelne Projekte, und der Beitrag ersetzt keine Bewertung deiner konkreten Entwicklung.

Sprich direkt mit uns über deinen konkreten Einsatz: Kostenloses Erstgespräch.