Cloudflare bloqueia por padrão crawlers de IA de uso misto
Novo padrão vale de hoje em diante para clientes free e novos sites: bots que combinam busca, treinamento e agente ficam bloqueados em qualquer página monetizada por publicidade.
A partir desta segunda-feira, 15 de setembro, a Cloudflare passa a bloquear por padrão os chamados crawlers de uso misto em qualquer página que exiba publicidade. A regra atinge automaticamente novos clientes, novos sites cadastrados por clientes existentes e a totalidade da base gratuita. Clientes pagantes com configuração anterior mantêm o que já tinham, mas qualquer site novo criado a partir de hoje entra no regime restritivo.
O alvo específico é o bot que faz três trabalhos em um user-agent: indexar para busca, buscar páginas em nome de um agente e coletar conteúdo para treinamento. Segundo a Cloudflare, a mistura de propósitos permitia às gigantes de IA capturar o valor comercial do conteúdo sob rótulo de search bot. Daqui em diante, o operador do crawler precisa apresentar user-agents separados para cada finalidade ou aceitar ser bloqueado nas fatias monetizadas do tráfego.
O que muda para publishers e para labs de IA
O anúncio original de 1 de julho já sinalizava o prazo de 15 de setembro. A Content Signals Policy da Cloudflare, lançada em setembro de 2025, divide o uso permitido em três categorias que o publisher declara via robots.txt: search, AI answers e AI training. O novo padrão fixa training e agent como bloqueados em páginas com anúncio e mantém search como permitido. A escolha desenha, na prática, um perímetro pago em torno do conteúdo que sustenta o modelo publicitário da web aberta.
No mesmo movimento, a Cloudflare aposentou o Pay Per Crawl, lançado em julho de 2025, e o substituiu pelo Pay Per Use, um marketplace que só cobra do consumidor de IA quando o conteúdo é efetivamente usado em uma resposta gerada. Ceramic.ai e You.com aparecem como parceiros iniciais. A lógica se aproxima mais de royalties sobre uso do que de tarifas de acesso, e responde a uma crítica frequente dos labs: pagar por página que nunca aparece em uma resposta.
Como isso reverbera em três mercados
Nos Estados Unidos, onde OpenAI, Anthropic, Google e Perplexity concentram a maior parte dos crawlers afetados, o efeito imediato é operacional. Bots que hoje passam por vasta franja de sites free-tier vão precisar de user-agents separados até a virada, e cada bot exposto individualmente vira alvo de bloqueio seletivo. Numa transcrição de call trimestral em agosto, Sam Altman disse a analistas que conteúdo original de qualidade continua a ser mais valioso, não menos, à medida que os modelos maturam. É retórica que casa com a nova assimetria.
Em publishers europeus, Le Monde, Der Spiegel e Financial Times operam há meses com contratos de licenciamento próprios com OpenAI e News Corp. Para eles, o novo padrão sela um teto de negociação e dá alavanca a publishers menores que não têm contrato individual. A German Media Publishers Association já sinalizou intenção de usar o Content Signals como padrão setorial em negociações coletivas do próximo ciclo.
No Brasil, onde as grandes casas jornalísticas ainda dependem majoritariamente de acordos comerciais bilaterais com Google e Meta e onde o PL 2.630 continua parado, o mecanismo Pay Per Use oferece uma alternativa técnica que dispensa negociação individual com cada laboratório de IA. É opção mais interessante para veículos de médio porte sem equipe jurídica dedicada, e coloca em xeque a lógica de que só as grandes redações conseguem monetizar o próprio conteúdo em IA.
O que a jogada não resolve
Há pontos cegos. Crawlers hospedados em residenciais, IPs rotativos e scrapers boutique operam num espaço cinza que padrão default de rede não alcança. Matthew Prince, CEO da Cloudflare, admitiu no anúncio original de julho que a política vale para o tráfego declarado e é uma linha de defesa, não um muro. A guerra por dados de treinamento continua, mas agora numa parte mais escura da rede.
Há também um efeito colateral estratégico raramente discutido. Ao empurrar labs para user-agents separados, a Cloudflare também expõe métricas de comportamento antes ofuscadas: volume por finalidade, frequência de recrawl, cobertura setorial. Publishers passam a enxergar quem realmente treina em seus arquivos e quem apenas responde consultas de agente. Nathan Benaich, do Air Street Capital, escreveu na newsletter State of AI de agosto que essa transparência favorece a negociação de tiers de licenciamento diferenciados por tipo de uso, o modelo que a indústria musical acabou adotando após duas décadas de guerra com o Napster.
O teto financeiro do exercício também merece nota. A Cloudflare não divulgou volume de transações do Pay Per Crawl no piloto, e não há projeção pública para o Pay Per Use. Publishers pequenos ganham controle técnico; se ganham receita relevante depende do apetite dos labs em preencher o marketplace. A resposta virá nos próximos dois trimestres, e ela vale mais do que o próprio bloqueio default: mostra se o mercado de dados de IA vira infraestrutura precificável ou continua a operar por captura oportunista.