Cloudflare bloquea por defecto crawlers de IA mixtos
Nuevo estándar aplicable desde hoy para clientes gratis y nuevos: bots que combinan búsqueda, entrenamiento y agente serán bloqueados en páginas monetizadas por publicidad.
A partir de este lunes, 15 de septiembre, Cloudflare comenzará a bloquear por defecto los llamados crawlers de uso mixto en cualquier página que muestre publicidad. La regla se aplica automáticamente a nuevos clientes, nuevos sitios registrados por clientes existentes y a toda la base gratuita. Los clientes de pago con configuraciones anteriores mantienen lo que ya tenían, pero cualquier nuevo sitio creado a partir de hoy entra en el régimen restrictivo.
El objetivo específico es el bot que realiza tres trabajos en un user-agent: indexar para búsqueda, buscar páginas en nombre de un agente y recopilar contenido para entrenamiento. Según Cloudflare, la mezcla de propósitos permitía a las grandes empresas de IA capturar el valor comercial del contenido bajo la etiqueta de bot de búsqueda. A partir de ahora, el operador del crawler deberá presentar user-agents separados para cada finalidad o aceptar ser bloqueado en las partes monetizadas del tráfico.
¿Qué cambia para los editores y los laboratorios de IA?
El anuncio original del 1 de julio ya señalaba la fecha límite del 15 de septiembre. La Política de Señales de Contenido de Cloudflare, lanzada en septiembre de 2025, divide el uso permitido en tres categorías que el editor declara a través de robots.txt: búsqueda, respuestas de IA y entrenamiento de IA. El nuevo estándar clasifica entrenamiento y agente como bloqueados en páginas con anuncios y mantiene búsqueda como permitido. La elección dibuja, en la práctica, un perímetro de pago en torno al contenido que sostiene el modelo publicitario de la web abierta.
En el mismo movimiento, Cloudflare retiró el Pay Per Crawl, lanzado en julio de 2025, y lo reemplazó por el Pay Per Use, un marketplace que solo cobra al consumidor de IA cuando el contenido es efectivamente utilizado en una respuesta generada. Ceramic.ai y You.com aparecen como socios iniciales. La lógica se asemeja más a regalías sobre el uso que a tarifas de acceso, y responde a una crítica frecuente de los laboratorios: pagar por una página que nunca aparece en una respuesta.
Cómo reverbera esto en tres mercados
En Estados Unidos, donde OpenAI, Anthropic, Google y Perplexity concentran la mayor parte de los crawlers afectados, el efecto inmediato es operacional. Los bots que hoy pasan por una amplia franja de sitios de nivel gratuito necesitarán user-agents separados hasta la transición, y cada bot expuesto individualmente se convierte en blanco de bloqueo selectivo. En una transcripción de la llamada trimestral en agosto, Sam Altman dijo a los analistas que el contenido original de calidad sigue siendo más valioso, no menos, a medida que los modelos maduran. Es una retórica que encaja con la nueva asimetría.
En los editores europeos, Le Monde, Der Spiegel y Financial Times operan desde hace meses con contratos de licencia propios con OpenAI y News Corp. Para ellos, el nuevo estándar sella un techo de negociación y da apalancamiento a editores más pequeños que no tienen contrato individual. La Asociación de Editores de Medios Alemanes ya ha expresado su intención de usar las Señales de Contenido como estándar sectorial en negociaciones colectivas del próximo ciclo.
En Brasil, donde las grandes casas periodísticas aún dependen mayoritariamente de acuerdos comerciales bilaterales con Google y Meta y donde el PL 2.630 sigue estancado, el mecanismo Pay Per Use ofrece una alternativa técnica que evita la negociación individual con cada laboratorio de IA. Es una opción más interesante para medianas empresas sin un equipo legal dedicado, y cuestiona la lógica de que solo las grandes redacciones pueden monetizar su propio contenido en IA.
Lo que la jugada no resuelve
Hay puntos ciegos. Crawlers hospedados en redes residenciales, IPs rotativos y scrapers boutique operan en un espacio gris que el estándar por defecto de red no alcanza. Matthew Prince, CEO de Cloudflare, admitió en el anuncio original de julio que la política se aplica al tráfico declarado y es una línea de defensa, no un muro. La guerra por los datos de entrenamiento continúa, pero ahora en una parte más oscura de la red.
También hay un efecto colateral estratégico raramente discutido. Al empujar a los laboratorios hacia user-agents separados, Cloudflare también expone métricas de comportamiento antes ofuscadas: volumen por finalidad, frecuencia de recrawl, cobertura sectorial. Los editores comienzan a ver quién realmente entrena en sus archivos y quién solo responde consultas de agente. Nathan Benaich, de Air Street Capital, escribió en la newsletter State of AI de agosto que esta transparencia favorece la negociación de tiers de licencia diferenciados por tipo de uso, el modelo que la industria musical adoptó después de dos décadas de guerra con Napster.
El techo financiero del ejercicio también merece mención. Cloudflare no ha divulgado el volumen de transacciones del Pay Per Crawl en el piloto, y no hay proyección pública para el Pay Per Use. Los editores pequeños ganan control técnico; si obtienen ingresos relevantes depende del apetito de los laboratorios para llenar el marketplace. La respuesta se dará en los próximos dos trimestres, y esta es más valiosa que el propio bloqueo por defecto: muestra si el mercado de datos de IA se convierte en una infraestructura tarifada o sigue operando por captura oportunista.