Fable 5.1 lidera Real-SWE em 38,8%; benchmark de código corta pela metade os scores que Big Tech divulga

A Specific Labs, startup do lote F25 do Y Combinator, publicou no dia 13 de setembro o Real-SWE, um benchmark que avalia agentes de código em bases privadas licenciadas de empresas reais. O Claude Fable 5.1 lidera com 38,8% de tarefas resolvidas, à frente do GPT-6 Astra (33,8%) e do Gemini 3.8 Flash (31,2%). O corte de dificuldade vira o placar público: no SWE-Bench Pro, o Fable 5.1 registra 81,2%.

O que o Real-SWE mede

Cada tarefa entrega ao agente uma base de código que ele nunca viu (aplicativo com mais de 200 mil usuários, plataforma de fintech que processa 100 mil extratos bancários, ferramentas internas de vendas de uma empresa B2B) e o contexto que um engenheiro humano teria antes de começar. A mediana é de 11 arquivos por tarefa. O agente precisa produzir o diff que resolve o ticket; testes automatizados verificam se o comportamento pretendido foi entregue sem quebrar o resto.

O ponto que os fundadores da Specific Labs explicitam: benchmarks públicos como o SWE-Bench estão contaminados. Modelos de fronteira já viram, direta ou indiretamente, os repositórios abertos que compõem esses testes. Os números caem quando o agente encontra código genuinamente fora da distribuição.

O que o resultado diz para quem compra IA de código

A distância de 42,4 pontos entre o Fable 5.1 no SWE-Bench Pro (81,2%) e no Real-SWE (38,8%) redefine a régua que compradores de enterprise vinham usando. Comprar um plano de "engenheiro de IA" com base em pontuação de benchmark público significa contratar performance em Django, Flask e nos demais repositórios amostrados até a exaustão. Dentro de um monólito Java de 15 anos, ou de um SAP customizado sem documentação, o Fable 5.1 hoje entrega dois em cada cinco tickets. GPT-6 Astra e Gemini 3.8 Flash entregam um em cada três.

Nenhum modelo passa da metade em Real-SWE. Para times de plataforma que planejam usar agentes como camada de resolução autônoma de bugs, o número real de reversões, tickets reabertos e revisões humanas continuará sendo alto o suficiente para que a economia dependa de quem revisa, não de quem escreve.

Leitura global: quem tinha pressa para automatizar delivery

Para as empresas americanas de modelo, o resultado é uso duplo: valida a superioridade do Fable 5.1 em código, mas expõe o teto de qualquer alegação de que o modelo substitui engenheiros de nível médio. A Anthropic disse a investidores que sua receita anualizada passou de US$ 30 bilhões neste ano; a compra que os grandes clientes fazem hoje é de produtividade marginal por assento, não de terceirização de squads inteiras.

Para a Índia, é a curva que a TCS demitiu 23.460 pessoas em FY26 para acelerar. O ceticismo dessa aposta ganha munição: se o melhor modelo entrega 38,8% em bases privadas típicas de client engagement, TCS, Infosys e Wipro precisam manter engenheiros seniores no loop justamente onde prometeram reduzir bench. A margem de "AI-first delivery" não vem do modelo resolvendo o ticket sozinho, vem do engenheiro remoto revisando três diffs por hora em vez de escrever um.

Para o Brasil, a leitura chega pelos hubs de BPO e shared services que operam para clientes americanos e europeus a partir de São Paulo e Curitiba, e pela pilha de sistemas legados que o setor bancário e de seguros brasileiro empilhou nos últimos vinte anos. Bases COBOL e Java 1.6 rodando core banking pontuariam ainda pior. O Bradesco anuncia R$ 6 bilhões por ano em tecnologia e o Itaú, R$ 2,7 bilhões só no primeiro trimestre; grande parte disso é operação de manutenção em código que nunca vai entrar no treinamento de modelo público.

Onde o Real-SWE ainda pode mentir

A crítica óbvia é amostra. Três dezenas de bases privadas de empresas dispostas a licenciar código não são a Fortune 500 inteira. Se o mix ficar enviesado para SaaS relativamente recente, o número exagera dificuldade em direção ao "novo" e subestima o que acontece dentro de mainframe bancário. O time do Aider já apontou viés parecido no SWE-Bench Verified.

O segundo ponto: 38,8% é o teto de resolução em tentativa única. Agentes com múltiplas tentativas, retrieval externo e humano no loop entregam mais. A pergunta para o CIO não é "Fable resolve 38%?", é quanto custa cada tentativa que o Fable erra. Enquanto a Anthropic mantém a lista de preço em US$ 15 por milhão de tokens de saída no Fable 5.1, cada rodada de retry entra na conta antes de a economia fechar.