Wenn Sie Apify-Schauspieler für das Scraping von Wildberries, Ozon, Amazon oder Google Maps starten, stellt sich früher oder später die Frage: Soll man für den integrierten Apify Proxy bezahlen oder einen eigenen Pool von IP-Adressen anschließen. Bei großen Volumen kann der Preisunterschied Zehntausende Rubel pro Monat betragen. In diesem Artikel werden wir untersuchen, wie der Preis für den Datenverkehr in Apify berechnet wird, wann ein eigener Proxy vorteilhafter ist und wie man ihn technisch an den Schauspieler anschließt – mit Codebeispielen.
Was sind Apify-Schauspieler und wozu brauchen sie Proxys
Apify ist eine Plattform zum Starten von fertigen Scraper (Schauspielern), ohne dass man eine eigene Infrastruktur aufbauen muss. Im Apify Store gibt es Hunderte von fertigen Schauspielern: Amazon-Parser, Google Maps Scraper, Instagram Scraper, Schauspieler zum Sammeln von Produktkarten von Wildberries und Ozon. Die meisten von ihnen benötigen Proxys, da die Zielwebsites die IP-Adressen von Apify-Rechenzentren bei massiven Anfragen schnell sperren.
Proxys im Schauspieler lösen drei Aufgaben: Sie umgehen Geo-Beschränkungen (zum Beispiel, wenn man Preise speziell für die Region "Moskau" auf Wildberries sammeln muss), reduzieren die Häufigkeit von Captchas und zeitlichen Sperren und verteilen die Last auf viele IPs, um das Verhalten normaler Benutzer und nicht eines Bots zu imitieren. Ohne Proxys können die meisten Schauspieler für das Scraping von Marktplätzen entweder gar nicht starten oder sammeln Daten mit Fehlern nach ein paar Minuten Betrieb.
Apify hat eine integrierte Lösung – Apify Proxy, die mit einer einzigen Codezeile angeschlossen wird. Das ist praktisch für den Start, hat aber einen Nachteil: Die Zahlung erfolgt für den Datenverkehr pro GB, und bei regelmäßigem oder umfangreichem Scraping wächst die Rechnung schnell. Aus diesem Grund schließen erfahrene Nutzer der Plattform immer häufiger ihre eigenen Proxys an die Schauspieler an, anstatt die integrierten zu verwenden.
Wie der integrierte Apify Proxy funktioniert und wie er abgerechnet wird
Apify Proxy bietet drei Arten von IPs an: Rechenzentrums-, Wohn- (über Partnerpools) und Google SERP
Proxys zum Scraping von Suchergebnissen. Der Anschluss ist maximal einfach – es reicht aus, den Parameter
useApifyProxy: true
in der Konfiguration des Schauspielers anzugeben, und die Plattform rotiert automatisch die IPs für jede
Anfrage oder Sitzung.
Das Problem liegt im Zahlungsmodell: Der Datenverkehr von Wohnproxys innerhalb von Apify wird nach Gigabyte abgerechnet, und der Preis pro GB für die integrierte Lösung ist normalerweise höher als bei direkten Proxy-Anbietern, da Apify einen Aufschlag für die Integration und Verwaltung des Pools erhebt. Für kleine Testläufe (ein paar tausend Anfragen pro Monat) ist das nicht kritisch. Aber wenn der Schauspieler im Überwachungsmodus arbeitet – zum Beispiel, wenn er die Preise auf Wildberries jede Stunde für 5000 SKU abruft – steigt der Datenverkehr exponentiell, und der integrierte Proxy wird zur teuersten Ausgabe im Budget des Projekts, die sogar die Kosten des Apify-Plans übertrifft.
Ein weiterer Punkt: Der integrierte Pool von Apify ist für alle Kunden der Plattform gemeinsam. Das bedeutet, dass die IP-Adressen möglicherweise bereits von anderen Nutzern, die dieselben Websites scrapen, "aufgedeckt" wurden. Dies erhöht das Risiko von Captchas und Sperren, insbesondere auf Marktplätzen mit strengen Anti-Bot-Schutzmaßnahmen wie Ozon und Avito.
Wann ein eigener Proxy-Pool günstiger ist: Berechnung anhand von Zahlen
Um zu verstehen, wann der Wechsel zu einem eigenen Proxy gerechtfertigt ist, müssen zwei Variablen verglichen werden: die Kosten für den Datenverkehr bei Apify Proxy und die Kosten für ein entsprechendes Volumen bei einem direkten Proxy-Anbieter, plus die Zeitkosten für die Integration und den Support des eigenen Pools.
Die Praxis zeigt drei Szenarien:
- Einmaliges Scraping (bis zu 1 GB Datenverkehr pro Monat) – der integrierte Apify Proxy ist vorteilhafter: Es macht keinen Sinn, Zeit mit der Einrichtung eines eigenen Pools für eine kleine einmalige Datensammlung zu verschwenden.
- Regelmäßige Überwachung (5–50 GB pro Monat) – der Wendepunkt. Hier sollte man bereits rechnen: Wenn der Schauspieler täglich arbeitet und Produktkarten von Wildberries oder Ozon sammelt, wächst der Datenverkehr bei einem integrierten Proxy schneller als bei einem eigenen Pool mit fixen Kosten pro IP oder einem unbegrenzten Tarif.
- Industrielles Scraping (ab 50 GB pro Monat, Dutzende Schauspieler, mehrere Quellen) – ein eigener Pool ist fast immer günstiger, da man die Möglichkeit hat, einen direkten Preis für den Datenverkehr oder die Anzahl der IPs ohne den Aufschlag eines Zwischenanbieters auszuhandeln.
Ein einfaches Berechnungsbeispiel: Wenn der Schauspieler täglich 10.000 Produktkarten verarbeitet und jede Seite im Durchschnitt 300 KB mit Bildern und Skripten wiegt (ohne Optimierung des Ressourcenladens), summiert sich das auf etwa 90 GB Datenverkehr pro Monat. Bei den Tarifen von Apify Proxy für Wohn-Datenverkehr übersteigt die Gesamtsumme oft die Kosten für ein entsprechendes Volumen bei einem Drittanbieter um das 1,5- bis 2-fache. Wenn der Schauspieler jedoch so eingestellt ist, dass er das Laden von Bildern und externen Skripten blockiert (was leicht über die Puppeteer/Playwright-Konfiguration gemacht werden kann), sinkt das tatsächliche Gewicht des Datenverkehrs erheblich, und die Einsparungen durch den Wechsel zu einem eigenen Proxy werden noch deutlicher.
Welchen Proxy-Typ man an Schauspieler anschließen sollte
Die Wahl des Proxy-Typs hängt direkt davon ab, welche Website der Schauspieler scrapt und wie empfindlich sie auf Bot-Datenverkehr reagiert.
| Proxy-Typ | Wann in Apify verwenden | Blockierungsrisiko |
|---|---|---|
| Rechenzentrums-Proxys | Scraping von Websites ohne strengen Anti-Bot-Schutz, API-ähnliche Quellen, statische Kataloge | Hoch auf Marktplätzen mit Schutz |
| Wohnproxys | Wildberries, Ozon, Amazon, Google Maps Scraper – Websites, die Rechenzentrums-IP erkennen | Niedrig bei richtiger Rotation |
| Mobile Proxys | Scraping von sozialen Netzwerken (Instagram, TikTok) über Apify-Schauspieler, wo maximale "Sauberkeit" der IP erforderlich ist | Minimal |
Für das Scraping von Marktplätzen wie Wildberries und Ozon ist die optimale Wahl – Wohnproxys, da sie echte IPs von Heim-Anbietern verwenden und selten unter strengen Anti-Bot-Filtern fallen. Für weniger geschützte Quellen (RSS, offene Kataloge, Unternehmenswebsites) genügen Rechenzentrums-IPs – sie sind günstiger und schneller.
Wie man seinen Proxy an den Schauspieler anschließt: Code und Konfiguration
Die meisten Schauspieler auf Apify basieren auf Crawlee (ehemals Apify SDK) und unterstützen die
Übertragung einer eigenen Liste von Proxys über den Parameter proxyConfiguration.
Anstelle des integrierten Pools wird ein Array Ihrer Proxy-Adressen angegeben.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Übergeben Sie Ihre eigene Proxyliste anstelle von useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Seite gesammelt: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Wenn Ihr Proxy-Pool die Rotation auf Seiten des Anbieters unterstützt (so funktionieren die meisten Wohnservices, einschließlich Pools mit Rotation pro Sitzung oder pro Anfrage), reicht es aus, einen Endpunkt mit den Sitzungsparametern in der URL anzugeben – dann erfolgt die IP-Rotation automatisch, ohne dass man manuell Hunderte von Adressen auflisten muss.
Für Schauspieler in Python (zum Beispiel, wenn Sie ein benutzerdefiniertes Skript über das Apify SDK für Python ausführen) sieht der Anschluss ähnlich aus:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Ein wichtiger Punkt: Wenn Sie zu Ihrem eigenen Proxy wechseln, stellen Sie sicher, dass Sie die Sitzungsrotation und die Verzögerungen zwischen den Anfragen manuell einstellen – der integrierte Apify Proxy hat dies automatisch gemacht, und beim Anschluss eines externen Pools muss die Logik im Code des Schauspielers oder in der Konfiguration des Crawlers festgelegt werden.
Vergleichstabelle: integriert vs. eigener Proxy
| Kriterium | Apify Proxy (integriert) | Eigener Proxy-Pool |
|---|---|---|
| Verbindungsgeschwindigkeit | Eine Codezeile, keine Einrichtung erforderlich | Benötigt 15-30 Minuten für die Integration |
| Kosten bei kleinen Volumen | Vorteilhafter | Überflüssig für seltene Starts |
| Kosten ab 10-50 GB/Monat | Steigt proportional zum Datenverkehr | Vorteilhafter, oft festes Modell |
| "Sauberkeit" des IP-Pools | Gemeinsamer Pool, Überschneidungen mit anderen Kunden möglich | Dedizierter oder rotierender Pool für Ihre Aufgaben |
| Flexibilität beim Geo-Targeting | Begrenzte Auswahl an Ländern/Regionen | Auswahl einer bestimmten Stadt/Region für den Marktplatz |
| Kontrolle über die Rotation | Automatisch, ohne Einstellungen | Manuell an das benötigte Muster anpassbar |
Anwendungsfälle: Scraping von Marktplätzen in der Praxis
Preisüberwachung auf Wildberries. Verkäufer, die die Preise von Wettbewerbern für 3000-10000 SKU mehrmals täglich überwachen, beginnen normalerweise mit dem integrierten Apify Proxy, wechseln jedoch nach dem ersten Monat mit einer hohen Rechnung für den Datenverkehr zu Wohnproxys mit regionaler Bindung. Dies ermöglicht nicht nur die Senkung der Kosten, sondern auch die Sicht auf die Preise genau so, wie sie ein Käufer aus einer bestimmten Stadt sieht – was kritisch ist, da Wildberries unterschiedliche Preise je nach Lager und Lieferregion anzeigt.
Sammlung von Produktkarten auf Ozon. Ozon verwendet aktiv Verhaltensanalysen und sperrt IPs schnell bei einheitlichen Anfrage-Mustern. Ein Schauspieler, der über den gemeinsamen Pool von Apify Proxy arbeitet, stößt häufiger auf Captchas, weil dieselben IPs parallel von anderen Nutzern der Plattform für ähnliche Aufgaben verwendet werden. Der Wechsel zu einem dedizierten Pool von Wohnproxys mit eigener Rotationslogik und zufälligen Verzögerungen zwischen den Anfragen reduziert die Häufigkeit von Captchas erheblich.
Scraping von Google Maps und Bewertungen. Für Aufgaben, bei denen keine Geo-Spezifikationen erforderlich sind (zum Beispiel das Sammeln von Kontaktdaten von Unternehmen im ganzen Land), sind oft Rechenzentrums-Proxys ausreichend – sie sind schneller als Wohnproxys und deutlich günstiger bei großen Volumen, wenn die Zielwebsite keinen aggressiven Anti-Bot-Schutz anwendet.
Checkliste zur Auswahl eines Proxys für Apify-Projekte
- Berechnen Sie das tatsächliche Volumen des Datenverkehrs des Schauspielers pro Monat (Anfragen × durchschnittliches Seitengewicht)
- Vergleichen Sie dieses Volumen mit dem Tarif des integrierten Apify Proxy – wenn es regelmäßig mehr als 5-10 GB ergibt, ziehen Sie eine Alternative in Betracht
- Bestimmen Sie, wie empfindlich die Zielwebsite auf Bots reagiert – Marktplätze wie Ozon erfordern Wohn-IPs
- Überprüfen Sie, ob eine Geo-Bindung an eine bestimmte Region erforderlich ist (aktuell für Wildberries und Ozon)
- Stellen Sie beim Wechsel zu einem externen Pool manuell die Sitzungsrotation und die Verzögerungen zwischen den Anfragen ein
- Deaktivieren Sie das Laden unnötiger Ressourcen (Bilder, Schriftarten, Tracker) im Schauspieler – dies reduziert den Datenverkehr unabhängig vom Proxy-Typ
- Testen Sie den Pool mit einem kleinen Volumen, bevor Sie alle Schauspieler auf die neue Konfiguration umstellen
Fazit
Der integrierte Apify Proxy ist ein bequemer Start für einmalige Aufgaben und kleine Testläufe, aber bei regelmäßigem oder industriellem Scraping von Marktplätzen übersteigen die Kosten schnell die Ausgaben für einen eigenen Proxy-Pool. Der Wechsel erfordert etwas mehr Einrichtung zu Beginn – die Rotation, Sitzungen und Proxy-Konfiguration im Code des Schauspielers festzulegen – aber es amortisiert sich bereits im ersten Monat bei Volumen von 10-50 GB Datenverkehr.
Wenn Ihre Schauspieler Daten von Wildberries, Ozon oder Amazon sammeln, sollten Sie sich die Wohnproxys ansehen – sie bieten ein geringes Risiko von Sperren und ermöglichen die Festlegung der benötigten Region für die korrekte Anzeige von Preisen. Für weniger geschützte Quellen ohne strengen Anti-Bot-Schutz sind kostengünstigere Rechenzentrums-Proxys geeignet, und für das Scraping von mobilen Anwendungen und sozialen Netzwerken über Apify-Schauspieler sollten Sie mobile Proxys in Betracht ziehen – sie bieten maximale "Sauberkeit" der IP bei minimalem Risiko der Erkennung.