Cloudflare blockiert standardmäßig hybride KI-Crawler
Neuer Standard gilt ab heute für kostenlose Kunden und neue Sites: Bots, die Suche, Training und Agenten kombinieren, werden auf allen mit Werbung monetarisierten Seiten blockiert.
Ab diesem Montag, dem 15. September, blockiert Cloudflare standardmäßig die sogenannten hybriden Crawler auf allen Seiten, die Werbung anzeigen. Die Regel betrifft automatisch neue Kunden, neue von bestehenden Kunden registrierte Sites und die gesamte kostenlose Basis. Kostenpflichtige Kunden mit vorheriger Konfiguration behalten, was sie bereits hatten, aber jede neu ab heute erstellte Website unterliegt den restriktiven Bedingungen.
Ziel ist der Bot, der drei Aufgaben in einem User-Agent erfüllt: Indexierung für die Suche, Abfrage von Seiten im Namen eines Agenten und Inhaltsammlung für Training. Laut Cloudflare ermöglichte die Mischung dieser Zwecke großen KI-Unternehmen, den kommerziellen Wert des Inhalts unter dem Label eines Suchbots zu erfassen. Von jetzt an muss der Betreiber des Crawlers separate User-Agents für jede Funktion bereitstellen oder akzeptieren, auf den monetarisierten Teilen des Verkehrs blockiert zu werden.
Was sich für Publisher und KI-Labs ändert
Die ursprüngliche Ankündigung vom 1. Juli hatte bereits den Zeitraum bis zum 15. September signalisiert. Die Content Signals Policy von Cloudflare, die im September 2025 eingeführt wurde, unterteilt die zulässige Nutzung in drei Kategorien, die der Publisher über robots.txt erklärt: Suche, KI-Antworten und KI-Training. Der neue Standard blockiert Training und Agent auf Seiten mit Werbung und lässt die Suche zu. Die Wahl skizziert praktisch ein kostenpflichtiges Perimeter um die Inhalte, die das Werbemodell des offenen Webs unterstützen.
Im gleichen Schritt stellte Cloudflare das Pay Per Crawl, das im Juli 2025 eingeführt wurde, ein und ersetzte es durch Pay Per Use, einen Marktplatz, der nur von KI-Nutzern Gebühren erhebt, wenn der Inhalt tatsächlich in einer generierten Antwort verwendet wird. Ceramic.ai und You.com erscheinen als erste Partner. Die Logik ähnelt eher Lizenzgebühren für die Nutzung als Zugangskosten und reagiert auf eine häufige Kritik der Labs: für Seiten zu zahlen, die nie in einer Antwort erscheinen.
Wie sich das auf drei Märkte auswirkt
In den Vereinigten Staaten, wo OpenAI, Anthropic, Google und Perplexity den Großteil der betroffenen Crawler konzentrieren, ist der unmittelbare Effekt operativ. Bots, die derzeit durch ein breites Spektrum von Free-Tier-Sites gelangen, müssen bis zur Wende separate User-Agents bereitstellen, und jeder einzelne Crawler wird zum Ziel selektiver Blockierungen. In einer Transkription eines Quartalsgesprächs im August sagte Sam Altman zu Analysten, dass qualitativ hochwertiger Originalinhalt weiterhin wertvoller sei, nicht weniger, während die Modelle reifen. Diese Rhetorik paart sich mit der neuen Asymmetrie.
Bei europäischen Publishern arbeiten Le Monde, Der Spiegel und Financial Times seit Monaten mit eigenen Lizenzverträgen mit OpenAI und News Corp. Für sie besiegelt der neue Standard eine Verhandlungsobergrenze und gibt kleineren Publishern, die keinen individuellen Vertrag haben, einen Hebel. Der Verband deutscher Medienverlage hat bereits signalisiert, das Content Signals als branchenspezifischen Standard in kollektiven Verhandlungen des nächsten Zyklus zu verwenden.
In Brasilien, wo große Nachrichtenhäuser nach wie vor überwiegend auf bilaterale Handelsabkommen mit Google und Meta angewiesen sind und wo das PL 2.630 weiterhin auf Eis liegt, bietet das Pay Per Use einen technischen Alternativansatz, der individuelle Verhandlungen mit jedem KI-Labor überflüssig macht. Dies ist eine interessantere Option für mittelgroße Medien, die kein engagiertes Rechtsteam haben, und stellt die Logik in Frage, dass nur große Redaktionen in der Lage sind, ihre Inhalte in der KI zu monetarisieren.
Was dieser Schritt nicht löst
Es gibt blinde Flecken. Crawler, die auf Wohn-IP-Adressen, rotierenden IPs und Boutique-Scrapers gehostet werden, operieren in einem Graubereich, den das Standardnetz nicht erreicht. Matthew Prince, CEO von Cloudflare, räumte in der ursprünglichen Ankündigung vom Juli ein, dass die Politik für den deklarierten Verkehr gilt und eine Verteidigungslinie darstellt, kein Mauerwerk. Der Krieg um Trainingsdaten geht weiter, aber jetzt in einem dunkleren Teil des Netzes.
Es gibt auch einen strategischen Nebeneffekt, der selten diskutiert wird. Indem Cloudflare Labs zwingt, separate User-Agents zu verwenden, zeigt es auch zuvor verschleierte Verhaltensmetriken: Volumen nach Zweck, Häufigkeit der Neucrawls, Branchenabdeckung. Publisher sehen nun, wer tatsächlich in ihren Archiven trainiert und wer nur Agentenanfragen beantwortet. Nathan Benaich von Air Street Capital schrieb in der Newsletter State of AI im August, dass diese Transparenz die Verhandlung über differenzierte Lizenzierungsebenen nach Nutzungsart begünstigt, das Modell, das die Musikindustrie nach zwei Jahrzehnten Krieg mit Napster schließlich übernommen hat.
Die finanzielle Obergrenze des Geschäftsjahres sollte ebenfalls erwähnt werden. Cloudflare hat das Transaktionsvolumen des Pay Per Crawl im Pilotprojekt nicht veröffentlicht, und es gibt keine öffentlichen Prognosen für das Pay Per Use. Kleine Publisher gewinnen technische Kontrolle; ob sie relevante Einnahmen erzielen, hängt von der Bereitschaft der Labs ab, den Marktplatz zu füllen. Die Antwort wird in den nächsten beiden Quartalen kommen, und sie ist wichtiger als die blockierende Standardregel: Sie zeigt, ob der Markt für KI-Daten als preisbare Infrastruktur fungiert oder weiterhin opportunistisch betrieben wird.