Die Preisliste des Proxy-Anbieters ist so gestaltet, dass der Vergleich der Anbieter einfach erscheint: Ein Gigabyte kostet 1 Dollar, ein anderer 8 Dollar – das ist ein achtfacher Unterschied. In der Praxis zahlt das Team, das ein Gigabyte für einen Dollar gekauft hat, regelmäßig mehr für die gesammelten Daten als das Team, das acht Dollar gezahlt hat. Der Grund liegt nicht im Marketing oder in versteckten Gebühren: Der Preis pro Gigabyte ist einfach keine Einheit, in der Ihre Aufgabe gemessen wird. Sie kaufen nicht den Traffic – Sie kaufen erfolgreich extrahierte Datensätze, und zwischen diesen beiden Größen liegt eine Kette von Multiplikatoren, die für jedes Projekt unterschiedlich sind.
Die Rechnung kommt nicht für das, was Sie berechnet haben
Typische Szene: Sie hatten geplant, eine Million Produktkarten zu sammeln, haben 200 KB pro Seite eingeplant, erhielten die berechneten 200 GB und ein Budget von etwa 1500 Dollar. Nach einem Monat im persönlichen Bereich – 900 GB und eine Rechnung, die dreimal höher ist als die Schätzung. Niemand hat betrogen: Drei Dinge haben sich geändert, die nicht in der Berechnung waren.
Die Diskrepanz zwischen Preis und Rechnung lässt sich immer auf die gleichen Komponenten zurückführen. Es lohnt sich, sie einzeln zu betrachten – dann wird die Formel von selbst zusammenkommen.
Drei Multiplikatoren zwischen Preis und Rechnung
1. Wie viel wiegt die Seite tatsächlich
Die Schätzung von „200 KB“ stammt aus dem Kopf und bezieht sich auf reines HTML. Das tatsächliche Gewicht hängt davon ab, wie Sie die Seite abrufen. Die rohe HTML-Antwort eines modernen Shops beträgt normalerweise Hunderte von Kilobyte. Eine vollständig in einem Headless-Browser gerenderte Seite mit allen Skripten, Schriftarten, Bildern und Analytik wiegt jedoch bereits 2–5 MB. Der Unterschied zwischen den beiden Methoden, um dieselben Daten zu erhalten, ist erheblich und schlägt sich vollständig auf Ihren Traffic nieder.
Branchenschätzungen operieren normalerweise mit einem Bereich von 1–3 MB für nicht optimiertes Scraping und 100–300 KB für optimiertes. Zwischen diesen beiden Modi gibt es nicht „ein wenig Einsparungen“, sondern einen Unterschied von zehnmal im selben Projekt.
2. Welcher Anteil der Antworten ist überhaupt brauchbar
Der zweite Multiplikator ist die Erfolgsquote, der Anteil der Anfragen, die brauchbare Inhalte zurückgegeben haben. CAPTCHA anstelle einer Seite, 403, leere Rahmen ohne Daten, Weiterleitungen auf Platzhalter – all dies ist bezahlter Traffic, der keinen einzigen Datensatz geliefert hat.
Die Arithmetik ist einfach und gnadenlos: Anzahl der Anfragen = benötigte Datensätze ÷ Erfolgsquote. Bei 95% Erfolg gehen für eine Million Datensätze 1,05 Millionen Anfragen drauf. Bei 70% sind es bereits 1,43 Millionen. Bei 60% sind es 1,67 Millionen. Das bedeutet, dass der Rückgang der Erfolgsquote von 95% auf 60% allein fast 60% zur Rechnung hinzufügt, bei absolut unverändertem Preis pro Gigabyte.
3. Retries, Timeouts und Overhead-Traffic
Darüber hinaus kommt der Overhead-Traffic der eigentlichen Anbindung hinzu. Hier ist der Unterschied zwischen einem ausgereiften und hastig zusammengestellten Stack enorm: Bei ausgereiften Managed-Plattformen machen Wiederholungen etwa 0,1–3% aus, bei einem selbstgeschriebenen Scrapy-Pipeline sind es 5–15%, wobei der Anteil mit dem Umfang steigt. Eine aggressive Retry-Logik, die eine blockierte Domain fünfmal hintereinander anpingt, kann diese Prozentsätze leicht in Dutzende verwandeln.
Eine Metrik, die nicht lügt
Fassen wir alles in einer Größe zusammen. Man sollte nicht Dollar pro Gigabyte zählen, sondern die Kosten pro tausend erfolgreich extrahierten Datensätzen:
- Preis pro 1000 Datensätzen = (durchschnittliches Antwortgewicht in GB ÷ Erfolgsquote) × (1 + Anteil der Retries) × Preis pro GB × 1000
Der Wert dieser Formel liegt darin, dass sie nicht vergleichbare Angebote vergleichbar macht. Ein günstiger Pool mit einer Bannquote von 40% und ein teurer mit einer Bannquote von 5% stehen endlich auf derselben Achse. Auffällig ist, dass auch die Anbieter im letzten Jahr zu dieser Metrik gekommen sind: In Branchenmaterialien wird immer häufiger die Formulierung „Preis geteilt durch Erfolgsquote“ verwendet, anstatt den reinen Preis pro Gigabyte.
Wie es sich in Geld auswirkt
Nehmen wir eine Million Datensätze, eine durchschnittliche Seite von 500 KB und Resident-Traffic zu 8 $/GB – die typische Mitte des Marktes. Wir ändern nur die Erfolgsquote:
- 95% Erfolg – 1,05 Millionen Anfragen, etwa 525 GB, ungefähr 4200 Dollar
- 70% Erfolg – 1,43 Millionen Anfragen, etwa 715 GB, ungefähr 5720 Dollar
- 60% Erfolg – 1,67 Millionen Anfragen, etwa 835 GB, ungefähr 6680 Dollar
Die Spanne beträgt fast 2500 Dollar bei demselben Preis. Vergleichen wir nun zwei Angebote, die in der Preisliste wie Himmel und Erde aussehen. Anbieter A: 2 $/GB, aber hat bei Ihrem Ziel eine Erfolgsquote von 55%. Anbieter B: 6 $/GB und 92% Erfolgsquote. Bei denselben 500 KB und einer Million Datensätze hat A etwa 910 GB und 1820 $, während B etwa 545 GB und 3270 $ hat. Hier ist A tatsächlich günstiger, und das ist ein ehrliches Ergebnis: Bei einem großen Preisunterschied frisst eine niedrige Erfolgsquote nicht immer den Vorteil auf.
Aber fügen Sie A 15% Retries gegenüber 3% bei B hinzu, fügen Sie das Headless-Rendering hinzu, das genau deshalb aktiviert wird, weil der günstige Pool häufiger Platzhalter anstelle von Inhalten zurückgibt – und das Gewicht der Seite bei A steigt auf 1,5 MB gegenüber 500 KB bei B. Neuberechnung: A – etwa 3,1 TB und 6200 $, B – etwa 560 GB und 3370 $. Die Rangordnung hat sich umgekehrt. Deshalb hat die Frage „bei wem ist das Gigabyte günstiger“ keinen eigenständigen Sinn: Die Antwort hängt von Ihrem Ziel, Ihrem Stack und Ihrer Bannquote ab.
Warum Scraping-APIs anders rechnen – und wie man sie vergleicht
Eine besondere Schwierigkeit besteht darin, dass ein Teil des Marktes überhaupt keine Gigabytes verkauft. Scraping-APIs und Web-Unblocker berechnen Gebühren pro Anfrage, wobei diese nach Komplexität tarifiert werden. Die Preisspanne im Jahr 2026 für 1000 Seiten sieht folgendermaßen aus:
- Einfaches HTML: ScrapeOps etwa 0,19 $, ScraperAPI etwa 0,49 $, Scrape.do etwa 0,58 $, ScrapingBee etwa 0,66 $, Bright Data etwa 1,00 $
- Mit JS-Rendering (normalerweise 5 Credits statt einem): ScrapeOps etwa 0,95 $, Scrape.do etwa 2,90 $, ScrapingBee etwa 3,30 $, ScraperAPI etwa 4,90 $, Bright Data etwa 5,00 $
- Websites unter Anti-Bot-Schutz (10–25 Credits): ScrapeOps etwa 1,90 $, Scrape.do etwa 4,45 $, ScraperAPI etwa 5,96 $, ScrapingBee etwa 6,60 $, Bright Data im Bereich von 8–15 $
Beachten Sie den Unterschied innerhalb eines Anbieters: Bei ScraperAPI unterscheiden sich einfache Seiten und Seiten unter Schutz um das Zwölf-fache. Der Tarif „pro Anfrage“ sieht vorhersehbarer aus als Gigabytes, bis das Ziel von der ersten Kategorie in die dritte wechselt – und das geschieht ohne Ihr Zutun, durch die Entscheidung des Website-Besitzers.
Das wird auf die gleiche Achse mit der Formel gebracht: Kosten pro Anfrage ÷ Erfolgsquote × 1000. Danach können die Angebote „3,30 $ für 1000 JS-Seiten“ und „6 $ pro Gigabyte Resident-Traffic“ endlich nebeneinander gelegt werden. Eine umfassendere Analyse der Ansätze selbst – offizieller API, fertiger Datensatz oder eigener Parser – haben wir separat behandelt; hier ist nur ihre Vergleichbarkeit in Geld wichtig.
Messung an einem Abend
Die Formel ist nutzlos ohne Ihre eigenen Zahlen, und die gute Nachricht ist, dass es nur ein paar Stunden Arbeit erfordert, um sie zu erhalten. Ein Pilotprojekt mit 1000 Anfragen an Ihre tatsächlichen URLs liefert alles Notwendige.
- Nehmen Sie eine repräsentative Auswahl von Zielen – nicht die Hauptseite, sondern genau die Karten, Kategorien und Ergebnisse, die Sie im Produkt sammeln möchten. Der Erfolg auf der Hauptseite sagt nichts voraus.
- Erfassen Sie separat vier Zähler: gültige Antworten mit Daten, HTTP-Fehler, CAPTCHAs und Herausforderungen, „leere 200er“ – Code 200 ohne benötigte Inhalte. Die letzte Kategorie ist die tückischste: formal ist das ein Erfolg, faktisch jedoch bezahlter Müll.
- Erfassen Sie das tatsächliche Traffic-Volumen aus den Statistiken des Anbieters und nicht aus Ihren Schätzungen. Die Diskrepanz zwischen dem berechneten und dem tatsächlichen Gewicht der Seite ist normalerweise der erste Fund eines solchen Piloten.
- Berechnen Sie Retries als separate Zeile, und mischen Sie sie nicht in die Gesamtzahl der Anfragen.
- Wiederholen Sie dies am selben Tag mit einem zweiten Anbieter. Der Erfolg schwankt mit der Stimmung der Anti-Bot-Systeme, und Messungen, die eine Woche auseinander liegen, sind nicht vergleichbar.
Wenn der Pilot eine niedrige Erfolgsquote gezeigt hat, beeilen Sie sich nicht, den Anbieter zu wechseln: Zuerst sollten Sie die Ursache verstehen. Eine Analyse typischer Problemquellen ist in dem Material darüber, wie man eine niedrige Erfolgsquote bei Proxys diagnostiziert, zusammengefasst, und die regelmäßige Überwachung derselben Metriken sollte zur Routine werden. Oft liegt das Problem in den Headern, dem Timing oder dem TLS-Fingerabdruck des Clients und nicht in der Qualität der IP.
Vier Hebel, die die Zahl stärker bewegen als Rabatte
Wenn die Metrik berechnet ist, wird sichtbar, wo sie am empfindlichsten ist. Ein Rabatt von 10% auf den Preis ist der schwächste der verfügbaren Hebel.
Antwortgewicht. Der schnellste Gewinn. Nur das abzurufen, was benötigt wird, reduziert den Traffic um das 2–10-fache. Wenn ein Headless-Browser erforderlich ist, blockieren Sie auf der Ebene der Anfrageüberwachung Bilder, Schriftarten, Medien und externe Skripte – der Inhalt leidet darunter nicht, und das Volumen sinkt erheblich. Aktivieren Sie die Kompression und bedingte Anfragen über ETag: Eine Seite, die sich seit dem letzten Crawl nicht geändert hat, sollte Ihnen eine 304-Antwort kosten und nicht ein Megabyte.
Erfolgsquote. Jeder zehnte Prozentpunkt Erfolg im Bereich von 60–95% sind Dutzende Prozent der Rechnung. Hier arbeiten nicht die Gelder, sondern die Ingenieurskunst: ein korrekter Client-Fingerabdruck, ein vernünftiges Tempo, der richtige IP-Typ für das spezifische Ziel.
Mischung von Proxy-Typen. Den gesamten Traffic über einen Resident-Pool zu leiten, ist der häufigste und teuerste Fehler. Ein erheblicher Teil der Ziele lässt sich hervorragend mit Datacenter-Proxys abrufen, die um ein Vielfaches günstiger sind; Resident-Adressen sollten nur für das verwendet werden, was sie tatsächlich benötigt. Die Routenführung nach Ziel und nicht aus Gewohnheit reduziert die Proxy-Kosten um 60–70%.
Disziplin bei Retries. Exponentielle Verzögerung, Obergrenze für Versuche, Verzicht auf Wiederholungen bei Codes, die durch Wiederholungen nicht behoben werden können. Der Unterschied zwischen 3% und 15% Overhead-Traffic ist der Unterschied zwischen einer sorgfältigen Anbindung und deren Fehlen. Die praktische Seite der Frage wird in dem Material über Optimierung des Traffic-Verbrauchs über Proxys behandelt.
Was außerhalb des Traffics bleibt
Das vollständige Bild der Ausgaben ist breiter als die Proxy-Rechnung, und das sollte man bei der Wahl zwischen „selbst sammeln“ und „fertig kaufen“ im Hinterkopf behalten. Für ein Projekt im Umfang von einer Million Seiten pro Monat sehen die branchenspezifischen Schätzungen für Self-Hosted-Lösungen folgendermaßen aus: Resident-Traffic 500–1500 $, Ingenieurzeit 1000–2000 $, Infrastruktur 300–500 $. Insgesamt 2000–4400 $ pro Monat – und das bevor die eigentliche Geschäftslogik geschrieben wird. Bei einem Ingenieur-Stundensatz von etwa 100 $ kosten einige Tage, die für die Reparatur von kaputten Selektoren aufgewendet werden, mehr als die monatliche Rechnung für Proxys.
Das ist kein Argument gegen das eigenständige Sammeln – es ist ein Argument dafür, Ingenieurstunden als gleichwertige Budgetzeile wie Gigabytes zu betrachten. Auch das Preismodell sollte bewusst gewählt werden: Für stabile, lange Sitzungen erweist sich die Zahlung für eine dedizierte IP oft als vorteilhafter als die Zahlung pro Megabyte.
Zusammenfassend
Der Preis pro Gigabyte ist nicht der Preis für Daten, sondern der Preis eines von vier Faktoren. Anbieter anhand dieses Preises zu vergleichen, ist dasselbe, wie ein Auto nach dem Preis pro Liter Benzin auszuwählen, ohne nach dem Verbrauch zu fragen. Die Arbeitsgröße für den Vergleich ist eine: Wie viel kostet tausend erfolgreich extrahierte Datensätze für Ihre Ziele, mit Ihrem Antwortgewicht, Ihrer Erfolgsquote und Ihren Retries.
Berechnen Sie es in einem Pilotprojekt mit tausend Anfragen, bevor Sie sich für einen Jahresvertrag anmelden. Es stellt sich häufig heraus, dass das günstigste Angebot in der Preisliste Sie mehr kostet als alle anderen – und dass das größte Einsparpotenzial nicht in den Verhandlungen über Rabatte liegt, sondern in zwei Dutzend Zeilen Code, die das Laden von Bildern deaktivieren.
```