Fable 5.1: Real-SWE Benchmark verliert gegen Big Tech

Specific Labs, ein Start-up aus dem F25-Programm von Y Combinator, veröffentlichte am 13. September den Real-SWE, einen Benchmark, der Code-Agenten auf lizenzierten privaten Daten von echten Unternehmen bewertet. Claude Fable 5.1 führt mit 38,8 % gelösten Aufgaben, gefolgt von GPT-6 Astra (33,8 %) und Gemini 3.8 Flash (31,2 %). Der Schwierigkeitsgrad verändert die öffentlichen Ergebnisse: Im SWE-Bench Pro verzeichnet Fable 5.1 81,2 %.

Was der Real-SWE misst

Jede Aufgabe liefert dem Agenten einen Code-Basis, die er noch nie gesehen hat (Anwendung mit über 200.000 Nutzern, Fintech-Plattform, die 100.000 Kontoauszüge verarbeitet, interne Vertriebstools eines B2B-Unternehmens) sowie den Kontext, den ein menschlicher Ingenieur vor Beginn hätte. Die Mediananzahl beträgt 11 Dateien pro Aufgabe. Der Agent muss den Diff erstellen, der das Ticket löst; automatisierte Tests überprüfen, ob das beabsichtigte Verhalten geliefert wurde ohne den Rest zu beeinträchtigen.

Der Punkt, den die Gründer von Specific Labs deutlich machen: Öffentliche Benchmarks wie der SWE-Bench sind kontaminiert. Grenzmodelle haben direkt oder indirekt auf die Open-Source-Repositories zugegriffen, die diese Tests ausmachen. Die Zahlen sinken, wenn der Agent genuin außerhalb der Verteilung stehenden Code trifft.

Was das Ergebnis für Käufer von Code-IAs bedeutet

Der Abstand von 42,4 Punkten zwischen Fable 5.1 im SWE-Bench Pro (81,2 %) und im Real-SWE (38,8 %) redefiniert die Maßstäbe, die Unternehmenskäufer bis dahin verwendet haben. Einen "AI-Ingenieur"-Plan basierend auf den Punkten eines öffentlichen Benchmarks zu kaufen bedeutet, Leistung in Django, Flask und den anderen bis zur Erschöpfung gesichteten Repositories zu engagieren. Innerhalb eines 15 Jahre alten Java-Monolithen oder eines anpassungsfähigen SAP ohne Dokumentation löst Fable 5.1 heute zwei von fünf Tickets. GPT-6 Astra und Gemini 3.8 Flash lösen eins von drei.

Kein Modell überschreitet die Hälfte im Real-SWE. Für Plattformteams, die planen, Agenten als autonome Fehlerbehebungsstufe zu verwenden, bleibt die tatsächliche Zahl der Rückschläge, wieder eröffneten Tickets und menschlichen Überarbeitungen hoch genug, damit die Wirtschaft von den Revisionsarbeiten und nicht vom Schreiben abhängt.

Globale Betrachtung: Wer schnell automatisieren wollte

Für amerikanische Unternehmen bedeutet das Ergebnis doppelte Verwendung: Es validiert die Überlegenheit von Fable 5.1 in der Codierung, entblößt jedoch die Obergrenze jeder Behauptung, dass das Modell mittlere Ingenieure ersetzen kann. Anthropic berichtete Investoren, dass ihr annualisiertes Einkommen in diesem Jahr 30 Milliarden US-Dollar überstieg; der heutige Einkauf großer Kunden beinhaltet marginale Produktivitätsgewinne pro Platz, nicht die Auslagerung ganzer Teams.

Für Indien zeigt die TCS, dass 23.460 Personen in FY26 entlassen wurden, um sich zu beschleunigen. Der Skeptizismus dieser Wette erhält Munition: Wenn das beste Modell 38,8 % in typischen privaten Daten von Kundenengagement bietet, müssen TCS, Infosys und Wipro unbedingt erfahrene Ingenieure im Loop behalten, gerade dort, wo sie versprochen haben, die Benchmarks zu reduzieren. Die Marge von "AI-first Delivery" kommt nicht davon, dass das Modell das Ticket alleine löst, sondern davon, dass der remote Ingenieur drei Diffs pro Stunde überprüft, anstatt einen zu schreiben.

Für Brasilien betrifft die Lesart die BPO- und Shared-Service-Hubs, die für amerikanische und europäische Kunden aus São Paulo und Curitiba betrieben werden, sowie die Reihe von Legacy-Systemen, die der brasilianische Bank- und Versicherungssektor in den letzten zwanzig Jahren angehäuft hat. COBOL- und Java 1.6-Basissysteme, die im Core Banking laufen, würden noch schlechter abschneiden. Bradesco gibt jährlich 6 Milliarden R$ für Technologie aus, und Itaú 2,7 Milliarden R$ allein im ersten Quartal; der größte Teil davon umfasst die Wartungsarbeiten am Code, die nie in das Training eines öffentlichen Modells eingehen werden.

Wo der Real-SWE auch lügen kann

Die offensichtliche Kritik ist die Stichprobe. Drei Dutzend private Datenbasen von Unternehmen, die bereit sind, Code zu lizenzieren, sind nicht die gesamte Fortune 500. Wenn die Mischung zu relativ neuen SaaS neigt, übertreibt die Zahl die Schwierigkeit in Richtung "neu" und unterschätzt, was in einer Bank-Hauptrechnersituation passiert. Das Team von Aider hat bereits einen ähnlichen Bias im SWE-Bench Verified festgestellt.

Der zweite Punkt: 38,8 % ist das Maximum der Lösung in einem einzelnen Versuch. Agenten mit mehreren Versuchen, externen Abrufen und Human-in-the-loop liefern mehr. Die Frage für den CIO ist nicht "Löst Fable 38 %?", sondern wie viel jede Fehlversuch kostet. Während Anthropic die Preisliste bei 15 US-Dollar pro Million Tokens für die Ausgabe im Fable 5.1 hält, zählt jede Retry-Runde vor der Wirtschaftlichkeit dazu.