Die Frage „Wie viel kostet es, eine Million Seiten zu parsen?“ erhält fast immer eine nutzlose Antwort: „Es hängt von der Website ab.“ Es hängt ab – aber nicht mystisch. Die Kosten setzen sich aus vier messbaren Komponenten zusammen, und jede davon kann im Voraus berechnet werden, bevor die Rechnung für den Traffic tatsächlich eintrifft. Im Folgenden finden Sie die praktische Mathematik: Woher die Gigabytes kommen, warum der Preis „pro GB“ nichts über Ihr Budget aussagt und welche Hebel die Kosten tatsächlich drastisch senken.
Die Hauptmetrik – nicht der Preis pro Gigabyte, sondern der Preis pro erfolgreicher Anfrage
Anbieter konkurrieren mit Zahlen im Schaufenster: $1/GB, $3/GB, $0,30 pro tausend Anfragen. Diese Zahlen sind nicht vergleichbar, solange Sie sie nicht auf eine Größe bringen – die Kosten für eine erfolgreiche Datenextraktion. Genau darauf bestehen die Marktanalysen: Rohzahlen „pro GB“ und „pro 1000 Anfragen“ sind ohne Berücksichtigung des Seitengewichts und der Erfolgsquote nicht vergleichbar.
Die Formel, die für die Planung ausreicht:
Budget = (Anzahl der Zielseiten ÷ Erfolgsquote) × durchschnittliches Seitengewicht × Preis pro GB + fixe Kosten
Drei Variablen im ersten Teil und eine im zweiten. Lassen Sie uns jede einzeln betrachten.
Komponente 1: Wie viel wiegt eine Seite
Dies ist die am meisten unterschätzte Variable. Die Spanne hier ist nicht in Prozent, sondern in Vielfachen, und sie hängt davon ab, wie Sie die Seite abrufen:
- Normaler HTTP-Request ohne Rendering – 50–150 KB. Sie erhalten nur das HTML-Dokument.
- Vollständiges Rendering in einem headless-Browser – 100–300 KB bei sorgfältiger Konfiguration.
- Browser „wie er ist“, ohne Filter – 0,2–1 MB und mehr. Sie zahlen für Bilder, Schriftarten, Werbeskripte, Analytik und Videoplayer, die Sie nicht benötigen.
Der Unterschied zwischen dem ersten und dem dritten Punkt beträgt bis zu zwanzigmal auf derselben Seite. Für eine Million Seiten beträgt dieser Unterschied zwischen 50 GB und 1000 GB Traffic.
Komponente 2: Preis pro Gigabyte je nach Proxy-Typen
Die aktuellen Marktspannen für das Jahr 2026 sehen folgendermaßen aus:
- Rechenzentrum – $0,50–3 pro GB oder eine monatliche Gebühr für IPs.
- Residential – $1–8 pro GB. Qualitätsorientierung: etwa $1/GB – ein hervorragendes Angebot, $3–4/GB – Marktmittel, $5–8/GB – Unternehmenssegment.
- Mobile (4G/5G) – $2–15 pro GB.
- ISP / statische Residential – $1,5–5 pro IP und Monat.
- Fertige Scraping-APIs – $0,30–12 pro 1000 Anfragen.
Die Versuchung, das billigste Angebot zu wählen, ist verständlich, aber sie scheitert an der nächsten Komponente.
Komponente 3: Erfolgsquote – der versteckte Multiplikator des Budgets
Jede blockierte Anfrage müssen Sie trotzdem bezahlen: Traffic wurde verbraucht, Daten sind nicht vorhanden. Daher ist die tatsächliche Anzahl der Anfragen gleich der Zielanzahl geteilt durch die Erfolgsquote, und der Multiplikator wächst nicht linear:
- Erfolg 95% – Überzahlung 5%;
- Erfolg 70% – Sie benötigen etwa 400.000 Anfragen mehr für jede Million Zielaufzeichnungen;
- Erfolg 60% – Anfragen müssen 2,5-mal mehr sein.
Deshalb ist ein billiges Rechenzentrum für $0,50/GB auf einer geschützten Website teurer als Residential für $3/GB: Cloudflare, DataDome und Akamai kennzeichnen standardmäßig die ASN von Rechenzentren, und Sie zahlen für den Fluss von Ablehnungen. Schätzungen aus Juli 2026 zeigen, dass mobile Proxys 90–95% Erfolg gegen moderne Anti-Bot-Systeme halten – dort, wo Rechenzentren überhaupt nicht durchkommen.
Praktische Schlussfolgerung: Der Typ des Proxys wird nicht nach dem Preis, sondern nach dem Ziel ausgewählt. Einfache Kataloge und offene APIs – Rechenzentrum. Geschäfte, soziale Netzwerke, Aggregatoren mit Schutz – Residential. Die aggressivsten Plattformen und mobile Versionen von Websites – mobile.
Drei Szenarien für eine Million Seiten
Fassen wir die Zahlen zusammen. Die Bedingung ist gleich: eine Million nützliche Seiten.
Szenario A – „diszipliniert“. HTTP-Client ohne Browser, 100 KB pro Seite, Residential für $2/GB, Erfolg 95%. Insgesamt: 1,05 Millionen Anfragen × 100 KB ≈ 105 GB ≈ $210.
Szenario B – „typisch“. Headless-Browser mit Ressourcenfilterung, 250 KB pro Seite, Residential für $3/GB, Erfolg 85%. Insgesamt: 1,18 Millionen × 250 KB ≈ 295 GB ≈ $885.
Szenario C – „ohne Anpassung“. Der Browser lädt alles ohne Filter, 800 KB pro Seite, Residential für $5/GB, Erfolg 65%. Insgesamt: 1,54 Millionen × 800 KB ≈ 1230 GB ≈ $6150.
Der Unterschied zwischen A und C beträgt fast das Dreißigfache, bei demselben Ergebnis am Ende. Keine der Variablen war exotisch: das sind alles normale Standardeinstellungen gegen gewöhnliche Sorgfalt. Zum Vergleich: Branchenschätzungen für ein mittelgroßes Unternehmen, das eine Million Anfragen pro Monat auf verschiedenen Websites verarbeitet, liegen bei $1000–3000 pro Monat – also zwischen Szenario B und C.
Was nicht im Traffic enthalten ist, aber in der Rechnung auftaucht
Proxys – normalerweise der größte, aber nicht der einzige Posten:
- Captcha. Die Lösung kostet $0,50–3 pro tausend. Bei 5% Seiten mit Captchas auf einer Million sind das 50.000 Lösungen – $25–150. Erträglich. Bei 50% sind es bereits $250–1500, und die Frage hört auf, technisch zu sein.
- Infrastruktur. $20–200 pro Monat bei bescheidenen Volumen; $200–500 bei kleinem Maßstab und $3000–10.000 bei wirklich großen Strömen.
- Speicherung und ausgehender Traffic. Etwa $0,023 pro GB pro Monat für Objektspeicher und $0,09 pro GB für den Ausgang bei großen Clouds – ein kleiner Betrag bei Hunderten von Gigabytes, aber eine spürbare Größe bei Dutzenden von Terabytes.
- Menschen. Die teuerste Zeile, die oft vergessen wird. Ein produktionsbereiter Parser benötigt 8–12 Wochen Entwicklung, danach 4–8 Stunden pro Monat für einfache Websites und 20+ Stunden für geschützte. Bei einem Satz von $75/Stunde kostet die Unterstützung einer geschützten Quelle $1500+ pro Monat – mehr als der gesamte Traffic im Szenario B.
Fünf Hebel, die die Kosten tatsächlich senken
- Entfernen Sie den Browser, wo er nicht benötigt wird. Wenn die Daten im HTML oder in der internen API vorhanden sind – ist Rendering überflüssig. Dies ist der Haupthebel: minus 60–80% Traffic.
- Blockieren Sie Ressourcen, wenn der Browser notwendig ist. Bilder, Schriftarten, Medien, Werbe- und Analytik-Skripte werden durch eine Regel zur Anfrageüberwachung deaktiviert und bieten erhebliche Einsparungen. Eine detaillierte Analyse der Techniken finden Sie im Artikel über Optimierung des Trafficverbrauchs über Proxys.
- Sortieren Sie Ziele nach Schwierigkeit. Die gesamte Liste über den teuersten Kanal zu leiten – der häufigste Fehler im Budget. Teilen Sie die Quellen in „offene“, „mäßig geschützte“ und „aggressive“ ein und weisen Sie jedem Typ seinen eigenen Proxy zu.
- Gestalten Sie die Retries bewusst. Blind dreimal bei einem Fehlschlag zu wiederholen, verdreifacht den Traffic bei problematischen Zielen. Wiederholen Sie nur die Antwortcodes, bei denen ein Retry sinnvoll ist, und mit einer anderen IP, nicht mit derselben.
- Cache und holen Sie dasselbe nicht zweimal ab. Listen, Paginierung, wiederholte Durchläufe durch das Verzeichnis – hier gehen leicht Dutzende Prozent des Budgets verloren.
Wann ein fertiges API günstiger ist und wann ein eigener Stack
Man muss die Gesamtkosten des Eigentums berechnen, nicht nur die Zeile „pro GB“. Marktorientierungen: Ein eigener Parser für 100.000 Seiten pro Monat kostet $700–1650 einschließlich Support, während ein fertiges API für dasselbe Volumen $50–300 kostet. Bei großen Zahlen kehrt sich das Bild um: 1 Million Anfragen pro Monat über API kostet $250–2490, während der Aufbau einer eigenen Infrastruktur für 10 TB pro Monat auf etwa $230.000 pro Jahr geschätzt wird, im Vergleich zu $100–150.000 für den Kauf des Dienstes.
Eine grobe Regel: Solange das Volumen klein und die Websites zahlreich sind – nehmen Sie eine fertige Lösung, Sie zahlen für fremden Support. Wenn das Volumen stabil ist, die Ziele wenige und gut erforscht sind – ist ein eigener Proxy-Stack günstiger, da Sie aufhören, die Aufschläge für das Rendering zu zahlen, das Sie nicht benötigen. Ein ausführlicher Vergleich beider Ansätze finden Sie in der Analyse Proxys gegen Scraping-API und Web-Unblocker.
Was sich im Herbst 2026 ändert
Es gibt einen Faktor, der die Berechnungen nach oben verschieben wird. Ab dem 15. September 2026 wird Cloudflare neue Domains standardmäßig auf die Blockierung der Kategorien Training und Agent umstellen – auf Seiten mit Werbung; die Änderungen betreffen neue Kunden, neue Websites bestehender Kunden und alle Kunden des kostenlosen Tarifs. Suchcrawler bleiben erlaubt. Parallel dazu wird Pay Per Crawl zu Pay Per Use: Der Herausgeber erhält Geld nicht für das Umgehen der Seite, sondern für die Nutzung des Inhalts in der Antwort der KI.
Der Kontext ist einfach: Laut Cloudflare entfallen derzeit 52% der Anfragen von Crawlern in ihrem Netzwerk auf das Training von KI, verglichen mit 22% im Frühjahr 2025. Das Netzwerk wird enger, und der praktische Sinn für das Budget ist folgender: Die Erfolgsquote bei geschützten Quellen wird im Durchschnitt sinken, was bedeutet, dass der versteckte Multiplikator des Budgets aus der dritten Komponente gewichtiger wird. Berücksichtigen Sie dies in Ihrer Planung, anstatt es aus der Rechnung zu erfahren.
Kurz gesagt
Die Kosten für das Parsen sind nicht der Preis pro Gigabyte, sondern das Produkt aus dem Seitengewicht, dem Preis des Kanals und dem Kehrwert der Erfolgsquote. Der Unterschied zwischen einem sorgfältigen und einem nachlässigen Pipeline bei einer Million Seiten wird nicht in Prozenten, sondern in Größenordnungen gemessen. Bevor Sie mit einem Anbieter über einen Rabatt verhandeln, berechnen Sie, wie viel Sie für das Laden von Bildern zahlen, die Sie nicht parsen, und für Wiederholungen, die nicht hätten auftreten sollen. Dort liegt normalerweise mehr Geld als in jedem Rabatt.
```