Cloudflare zieht erneut die Schrauben gegen KI-Crawler an. Das Unternehmen, über dessen Netzwerk etwa 20 % des gesamten Web-Traffics laufen, hat angekündigt: Ab dem 15. September 2026 werden „gemischte“ (mixed-use) Crawler standardmäßig auf werbefinanzierten, monetarisierten Seiten blockiert — für alle neuen Kunden und alle neuen Websites auf bestehenden Konten. Parallel dazu wird das Pay Per Crawl-Modell ausgeweitet, bei dem der Zugang des Bots zu Inhalten kostenpflichtig wird. Für alle, die Daten sammeln, ist dies keine abstrakte Nachricht für Verleger — es ist ein direktes Signal, dass die „graue Zone“ des offenen Webs einen weiteren Schritt eingeengt wird.
Was genau hat Cloudflare angekündigt
Die Schlüsselneuheit ist das Konzept des „gemischten Crawlers“. So nennt Cloudflare Bots, die Daten gleichzeitig für zwei Zwecke sammeln: zur Indizierung in Suchmaschinen und zum Training von KI-Modellen. Früher liefen solche Crawler unter dem Banner eines „Suchmaschinen“-Bots und erhielten Zugang zu Inhalten im Austausch für Traffic. Jetzt bricht Cloudflare diesen Deal ab: Wenn eine Website mit Werbung Geld verdient, wird der gemischte Crawler standardmäßig nicht auf monetarisierte Seiten gelassen.
Technisch wird dies durch verwaltete Regeln für robots.txt und aktualisierte Heuristiken im Bot-Management umgesetzt. Der Website-Besitzer muss nichts manuell schreiben — Cloudflare verwaltet selbst die Listen und die Logik. Das Startdatum für neue Websites ist der 15. September 2026; bestehende Projekte können die Blockierung nach Wunsch aktivieren.
Die Position des Unternehmens fasste sein CEO Matthew Prince zusammen: „Jetzt, da der Großteil des Traffics im Internet nicht menschlich ist, müssen wir entschlossener und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann“. Die Änderungen wurden öffentlich von der Associated Press, Time, The Atlantic und Reddit unterstützt — also von großen Verlegern, die am meisten unter der kostenlosen Ausbeutung ihrer Inhalte leiden.
Zahlen, die alles erklären
Um zu verstehen, warum der Infrastruktur-Anbieter sich überhaupt in den Krieg gegen KI-Unternehmen eingelassen hat, genügt ein Blick auf das Verhältnis von „Crawls zu Klicks“ (crawl-to-referral) für das Jahr 2025, das Cloudflare selbst angeführt hat:
- Google — 14:1. Auf 14 Crawls einer Seite schickt die Suchmaschine einen lebenden Besucher zur Website. Erträglich: das ist der alte Deal „wir nehmen den Inhalt, ihr bekommt den Traffic“.
- OpenAI — 1.700:1. Auf 1.700 Crawls — ein Klick. Der Austausch ist bereits nicht mehr gleichwertig.
- Anthropic — 73.000:1. Dreiundsiebzigtausend Crawls auf einen Klick. Tatsächlich wird der Inhalt ausgebeutet, und Traffic gibt es dafür überhaupt nicht.
Genau diese Asymmetrie hat das alte Modell des „offenen Standards“ im Web gebrochen. Wie Analysten präzise formulierten: „Wo das Web früher offen war, bis man es schloss, ist jetzt ein erheblicher Teil davon geschlossen, bis man ihn öffnet“. Dies ist eine 180-Grad-Wende des Standardprinzips — und es trifft nicht nur KI-Labore, sondern auch alle automatisierten Sammler, die unter dasselbe Raster fallen.
Pay Per Crawl: Zugang wird zur Ware
Der zweite Teil der Ankündigung ist die Erweiterung von Pay Per Crawl, einem Marktplatz, den Cloudflare am 1. Juli 2025 in einer privaten Beta gestartet hat. Die Logik ist einfach: Anstelle von binären „erlauben / blockieren“ hat der Verleger eine dritte Option — eine Gebühr für jeden Crawl zu erheben. Der Website-Besitzer legt den Tarif selbst fest, und das KI-Unternehmen entscheidet, ob es diesen bezahlt oder nicht. Cloudflare fungiert als Vermittler, der die Identität des Bots überprüft und die Abrechnungen durchführt.
Für den Markt ist dies ein tektonischer Wandel. Daten, die jahrelang als „kostenlos, weil öffentlich“ galten, verwandeln sich in eine kostenpflichtige Ressource mit Preisschild. Je mehr Cloudflare dieses Modell ausrollt, desto teurer und komplizierter wird der legale, „offizielle“ Zugang zu Inhalten für diejenigen, die nicht bereit sind, Verträge zu unterzeichnen und pro Crawl zu zahlen.
Wie das mit Proxys und Scraping zusammenhängt
Hier liegt die wichtigste praktische Erkenntnis. Wenn große Plattformen die Tore für „ehrliche“ Crawler nach User-Agent schließen, fließt die Nachfrage zwangsläufig in Werkzeuge, die den Traffic von menschlichem nicht zu unterscheiden sind. Der Gründer des Analyseunternehmens Synthient, Ben Brandidge, stellt fest: „KI scheint definitiv die Nachfrage nach Residential Proxys zu steigern“ — weil Unternehmen nach Wegen suchen, die Blockaden ihrer Scraper zu umgehen.
Das Ausmaß dieser Schattenebene ist bereits beeindruckend. Laut IPInfo wurden allein bei sechs verfolgten Anbietern in 90 Tagen fast 79 Millionen einzigartige IPs gezählt. Dabei ist der Markt stark verflochten: Etwa 46 % der Residential Proxy-Adressen sind gleichzeitig in den Pools mehrerer Anbieter vertreten, und einzelne IPs tauchten in Netzwerken von mehr als hundert verschiedenen Diensten auf. Das bedeutet, dass „günstige Residential Proxys“ in der Praxis oft dieselbe weiterverkaufte Adresse sind, die bereits in Dutzenden anderer Kampagnen aufgetaucht ist — und möglicherweise bereits auf schwarzen Listen steht.
Wir haben bereits geschrieben, dass der regulatorische Druck auf die Datensammlung parallel zum technischen Druck zunimmt: EU AI Act, der am 2. August 2026 in Kraft tritt, verleiht robots.txt und Opt-out für das Training von Modellen Gewicht. Der Schritt von Cloudflare ist die technische Hälfte derselben Tendenz: Juristische und infrastrukturelle Barrieren schließen sich zusammen, und „einfach eine GET-Anfrage von einer Rechenzentrums-IP zu senden“ funktioniert immer schlechter.
Was Datensammler tun sollten
In Panik zu geraten ist zu früh, aber es ist höchste Zeit, den Stack zu überdenken. Hier sind einige praktische Orientierungspunkte für die kommenden Monate.
- Trennen Sie Aufgaben nach Schutzniveau. Für offene, schwach geschützte Quellen genügen nach wie vor schnelle und günstige Rechenzentrumsproxys. Residenten-Traffic dafür auszugeben, ist Geldverschwendung.
- Für Websites unter Cloudflare verwenden Sie Residential IPs. Wenn das Ziel Anfragen über das Bot-Management sendet, helfen Residential Proxys echter Heimprovider: Ihr Verhalten wird standardmäßig als menschlich angesehen. Entscheidend ist nicht die absolute Größe des Pools, sondern dessen Sauberkeit und der niedrige Prozentsatz an Überschneidungen mit fremden Diensten.
- Mobile IPs — für die härtesten Ziele. Soziale Netzwerke und Plattformen mit aggressivem Anti-Bot-Kontur durchlaufen besser mobile Proxys: Hinter einer IP des Anbieters sitzen Tausende lebende Abonnenten, weshalb es für die Plattform nicht rentabel ist, sie vollständig zu blockieren.
- Zählen Sie nicht „Volumen“, sondern „Überlebensfähigkeit“. Nach der Wende von Cloudflare zu „geschlossen nach Standard“ wird die Qualitätsmetrik nicht Gigabytes, sondern der Anteil erfolgreich gesammelter Seiten ohne Sperren. Ein günstiger weiterverkaufter Pool mit 46 % Überschneidung von Adressen liefert eine schöne Traffic-Zahl, aber eine katastrophale Erfolgsquote.
- Halten Sie sich an die Regeln, wo sie existieren. Wenn die Quelle eine offizielle API oder Bedingungen für Pay Per Crawl anbietet, ist das oft günstiger und zuverlässiger für stabile Produktions-Pipelines als ein Wettrüsten. Proxys sind ein Werkzeug für öffentliche Daten, nicht für das Umgehen direkter vertraglicher Verbote.
Fazit
Der Schritt von Cloudflare ist keine einmalige Nachricht, sondern Teil einer systematischen Wende: Das Web wechselt von einem Modell „offen, bis man es schließt“ zu „geschlossen, bis man es öffnet“. Verhältnisse wie 73.000:1 zeigen, warum dies unvermeidlich ist, und Pay Per Crawl verwandelt den Zugang zu Daten in eine Ware mit Preisschild. Für das Scraping bedeutet dies eines: Die Ära, in der ein Rechenzentrums-IP und ein User-Agent-Header ausreichten, geht zu Ende. Gewinnen werden diejenigen, die im Voraus das Sammeln auf sauberen Residential- und mobilen Netzwerken aufbauen und nicht das Volumen des Traffics, sondern den Anteil der Daten zählen, die tatsächlich lebend ankommen. Die Barrieren werden nur steigen — und die Qualität der Proxy-Infrastruktur wird nicht zu einer Ausgabenposition, sondern zu einem entscheidenden Faktor dafür, ob Sie die Daten erhalten oder nicht.