Leadgenerierungsagenturen und Marketer, die Unternehmensdaten von Karten sammeln, stoßen früher oder später auf die gleiche Frage: Wie viel „wiegt“ das Sammeln von 10.000 Kontakten wirklich und warum werden Konten und IP-Adressen bereits bei der dritten Tausend gesperrt. Wir analysieren die Verkehrsbewertung Schritt für Schritt, vergleichen Google Maps, 2GIS und Yandex.Maps und zeigen, welche Proxys solche Volumina ohne Sperren bewältigen können.
Was ist Leadgenerierung mit Karten und warum den Verkehr berechnen
Leadgenerierung mit Karten ist das Sammeln von Kontaktdaten von Unternehmen (Name, Telefon, Website, Adresse, Bewertung, Tätigkeitsbereich) über Google Maps, 2GIS oder Yandex.Maps für nachfolgende Kaltakquise-Anrufe, E-Mail-Kampagnen oder gezielte Werbung. Diese Methode ist besonders beliebt bei Agenturen, die B2B-Dienstleistungen verkaufen: Webstudios, CRM-Anbietern, Marketingdienstleistern — sie benötigen Datenbanken nach Nischen und Städten: „Zahnärzte in Kasan“, „Autowerkstätten in Nowosibirsk“, „Schönheitssalons in Jekaterinburg“.
Die Verkehrsberechnung ist aus drei Gründen wichtig. Erstens hängt die Menge der übertragenen Daten davon ab, wie viel Proxy-Verkehr Sie ausgeben werden und wie viel es kosten wird, wenn Sie auf mehrere Städte skalieren. Zweitens registrieren Karten anomale Aktivitäten basierend auf der Anzahl der Anfragen und nicht nur auf der IP — und wenn man nicht versteht, wie viele Anfragen das Sammeln von 10.000 Karten generiert, kann man das Risiko einer Sperrung leicht unterschätzen. Drittens, wenn man das genaue Datenvolumen kennt, ist es einfacher, zwischen dem Parsen der HTML-Seite, der Nutzung der internen API der Karte oder einem fertigen Dienst zu wählen — jede Option unterscheidet sich hinsichtlich des Verkehrs erheblich.
In der Praxis sind 10.000 Unternehmen keine abstrakte Zahl. Dieses Volumen entspricht beispielsweise der vollständigen Datenbank aktiver juristischer Personen im Bereich „Gerätereparatur“ in 15-20 Millionenstädten Russlands oder allen Gastronomiebetrieben in einer großen Stadt wie Moskau oder St. Petersburg. Dies ist eine realistische Aufgabe für eine Agentur, die Leads in Paketen verkauft.
Wie viel wiegt eine Unternehmenskarte
Das Gewicht einer Unternehmenskarte hängt davon ab, was genau Sie sammeln und auf welche Weise. Wenn Sie nur die Liste der Suchergebnisse (Name, kurze Adresse, Bewertung) parsen, werden die Daten kompakt übertragen — normalerweise ist dies die JSON-Antwort der internen API der Karte mit einem Gewicht von 3-8 KB pro Unternehmen in der Gesamtübersicht. Wenn Sie jedoch eine detaillierte Karte benötigen — Telefon, Website, Öffnungszeiten, Fotos, Bewertungen — müssen Sie eine separate Seite öffnen oder eine zusätzliche Anfrage stellen, und das Gewicht steigt auf 80-250 KB aufgrund von Bildern und erweitertem JSON.
Unten finden Sie einen Vergleich der drei Hauptkarten, mit denen Leadgenerierungsagenturen in der GUS arbeiten:
| Karte | Gewicht der Karte in der Liste | Gewicht der detaillierten Karte | Besonderheit des Schutzes |
|---|---|---|---|
| Google Maps | 5-8 KB | 150-250 KB | Strenger Rate-Limit und Captchas bei häufigen Anfragen von einer IP |
| 2GIS | 3-6 KB | 80-150 KB | Sperrung aufgrund der Häufigkeit der Anfragen an die API des Katalogs |
| Yandex.Maps | 4-7 KB | 100-200 KB | Antibot-System mit Verhaltensanalyse und Proxy-Blacklist |
Ein wichtiger Punkt: Das Gewicht der Liste ist noch nicht die gesamte Karte. Um die Telefonnummer und die Website des Unternehmens zu erhalten, ist in den meisten Fällen eine separate Anfrage an die Detailseite erforderlich. Dies verdoppelt oder verdreifacht den tatsächlichen Verkehr pro Lead, wenn Sie nicht nur Namen, sondern vollständige Kontakte für den Verkauf sammeln.
Verkehrsberechnung für 10.000 Unternehmen Schritt für Schritt
Nehmen wir ein realistisches Szenario: Eine Agentur sammelt vollständige Karten (Name, Telefon, Website, Adresse, Bewertung, Kategorie) von Google Maps für 10.000 Unternehmen in mehreren Städten.
Schritt 1. Suche und Listing. Google Maps zeigt etwa 20 Ergebnisse pro Suchergebnisseite an. Um 10.000 Positionen zu erhalten, müssen etwa 500 Suchergebnisseiten verarbeitet werden. Jede Seite wiegt unter Berücksichtigung der Dienstanfragen, des Ladens der Karte und der Skripte 600-900 KB. Insgesamt: 500 × 750 KB ≈ 375 MB nur in der Suchphase.
Schritt 2. Detaillierte Karten. Für jedes der 10.000 Unternehmen ist eine separate Anfrage mit Telefon, Website und Foto erforderlich. Bei einem durchschnittlichen Gewicht von 180 KB pro Karte: 10.000 × 180 KB ≈ 1,8 GB.
Schritt 3. Wiederholte Anfragen und Retries. Bei realen Bedingungen werden 10-20% der Anfragen beim Parsen nicht beim ersten Mal erfolgreich sein aufgrund von Rate-Limits, Captchas oder Änderungen im Layout — sie müssen wiederholt werden. Fügen Sie weitere 15% zum Volumen hinzu: (375 MB + 1,8 GB) × 1,15 ≈ 2,5 GB.
Die Endzahl liegt bei etwa 2,5 GB Verkehr für das Sammeln von 10.000 Unternehmen von Google Maps beim Parsen detaillierter Karten. Wenn nur Listen ohne Telefonnummern und Websites gesammelt werden, sinkt der Verkehr auf 450-500 MB, aber eine solche Datenbank wird für den Verkauf kaum brauchbar sein — ohne Telefonnummer konvertiert der Lead nicht in einen Anruf.
Für 2GIS und Yandex.Maps ist die Berechnung ähnlich, aber das Volumen ist normalerweise um 20-30% niedriger aufgrund des kompakteren API-Formats — rechnen Sie mit 1,7-2,2 GB für die gleichen 10.000 Karten.
Warum Karten für die massenhafte Datensammlung gesperrt werden
Karten sind ein kommerzielles Gut der Plattformen selbst, und die massenhafte automatische Datensammlung widerspricht direkt ihrem Geschäftsmodell (Verkauf von Werbung in Karten, API-Zugang für Partner). Daher reagieren Google Maps, 2GIS und Yandex.Maps gleichermaßen aggressiv auf atypisches Verhalten.
Die Hauptauslöser für Sperrungen sind: zu hohe Anfragefrequenz von einer IP (mehr als 1 Anfrage alle 2-3 Sekunden), einheitliche User-Agent und Header ohne Variabilität, fehlende Cookies und Sitzungsdaten, Anfragen ohne begleitende Ressourcen (Bilder, Skripte), die ein normaler Browser immer lädt. Wenn das Limit erreicht ist, zeigt der Dienst entweder ein Captcha an, blockiert die IP vorübergehend für 15-60 Minuten oder sperrt die IP dauerhaft bei wiederholten Verstößen.
Bei einem berechneten Volumen von 2,5 GB und 10.000+ Anfragen von einer „sauberen“ IP nähert sich die Wahrscheinlichkeit einer Sperrung bereits bei der ersten Tausend Karten 100%. Aus diesem Grund wird jedes ernsthafte Projekt zur Leadgenerierung mit Karten um die Rotation von IP-Adressen herum aufgebaut — ohne dies verliert die Verkehrsberechnung ihren Sinn, da das geplante Volumen physisch nicht gesammelt werden kann.
Residential, mobile und Datacenter-Proxys für das Parsen von Karten
Die Wahl des Proxy-Typs beeinflusst direkt, wie viele Anfragen Sie vor einer Sperrung stellen können und wie viel Verkehr Sie für Wiederholungsversuche „verbrauchen“ müssen. Für das Sammeln von Daten von Karten ist der Ruf der IP entscheidend — Karten sperren Datacenter-Bereiche deutlich strenger, da die Hauptmasse des automatischen Parsens von dort kommt.
| Proxy-Typ | Vertrauensniveau der Karten | Wann anwenden |
|---|---|---|
| Residential Proxys | Hoch — IPs realer Benutzer | Hauptwerkzeug für das Sammeln von 5.000-50.000 Karten mit Rotation nach Städten |
| Mobile Proxys | Sehr hoch — gemeinsame IPs von Anbietern | Gezielte Sammlung nach Nischen mit strenger Antibot-Schutz (Yandex.Maps) |
| Datacenter-Proxys | Niedrig-mittel — häufiger in schwarzen Listen | Testläufe, Tests von Skripten mit kleinen Volumina ohne echte Auslastung |
In der Praxis ist für die berechneten 10.000 Unternehmen die optimale Kombination Residential Proxys mit Rotation nach Subnetzen der Städte: Sie erhalten IPs aus derselben Region wie die Zielgruppe in den Karten und reduzieren den Anteil an Captchas und Wiederholungsanfragen, die wir in der obigen Verkehrsberechnung eingeplant haben. Datacenter-Proxys können in dieser Aufgabe nur in der Testphase für 50-100 Karten verwendet werden, um das Budget für den Residential-Verkehr nicht für das Debugging zu verbrauchen.
Einrichtung der Datensammlung: Werkzeuge und Schritt-für-Schritt-Schema
Für das Sammeln einer Unternehmensdatenbank von Karten verwenden Agenturen normalerweise fertige No-Code- und Low-Code-Tools, anstatt einen Parser von Grund auf neu zu schreiben. Zu den beliebten Lösungen gehören A-Parser (flexible Anpassung von Vorlagen für Google Maps, 2GIS, Yandex.Maps ohne Programmierung), Octoparse (visueller Skriptersteller für das Sammeln) und ZennoPoster (Automatisierungsvorlagen mit Unterstützung für Proxys und Anti-Detect-Profile). Für kleine Volumina eignen sich Cloud-Parsing-Dienste mit Bezahlung pro Anzahl der Karten.
Das Schritt-für-Schritt-Schema zum Starten der Sammlung von 10.000 Unternehmen sieht folgendermaßen aus:
- Bestimmen Sie die Liste der Städte und Nischen, für die Leads benötigt werden — dies legt die Anzahl der Suchanfragen fest und ermöglicht eine genauere Prognose des Verkehrs gemäß der Formel aus dem obigen Abschnitt.
- Richten Sie im Parser eine Liste von Residential Proxys mit Rotation der IP alle 5-10 Anfragen ein — die meisten Tools unterstützen Proxy-Listen im Format login:passwort@host:port.
- Aktivieren Sie eine zufällige Verzögerung zwischen den Anfragen von 3-7 Sekunden und die Rotation des User-Agent — dies reduziert den Captcha-Anteil um 30-40% im Vergleich zu festen Intervallen.
- Starten Sie einen Testlauf mit 100-200 Karten und erfassen Sie den tatsächlichen Verkehr — vergleichen Sie ihn mit der Berechnung, um die Prognose für das gesamte Volumen zu korrigieren.
- Skalieren Sie die Sammlung auf 10.000 Karten, indem Sie die Aufgabe in Batches von 1.000-1.500 Einträgen aufteilen — dies vereinfacht die Fehlerkontrolle und den erneuten Start bei Ausfällen.
- Exportieren Sie das Ergebnis in CSV oder direkt in CRM, indem Sie Duplikate nach Telefonnummer und Website entfernen — auf Karten gibt es oft Wiederholungen aufgrund von Netzwerkorganisationen und Filialen.
Wenn die Sammelaufgabe regelmäßig wiederholt wird (z. B. monatliche Aktualisierung der Datenbank nach Nischen), macht es Sinn, sofort einen automatischen Start nach Zeitplan mit einem ständigen Pool von Residential IPs einzurichten — dies spart Zeit für manuelles Neustarten und reduziert das Risiko einer Sperrung durch gleichmäßige Verteilung der Last über die Zeit.
Wie man den Verkehr ohne Verlust von Leads reduzieren kann
Die berechneten 2,5 GB für 10.000 Unternehmen können um 30-40% reduziert werden, ohne die Datenqualität zu verlieren, wenn mehrere praktische Techniken angewendet werden.
Erstens, deaktivieren Sie das Laden von Bildern auf Anfrageebene — Fotos von Einrichtungen machen bis zu die Hälfte des Gewichts der detaillierten Karte aus, sind aber für den Verkauf nicht erforderlich. Zweitens, verwenden Sie direkte Anfragen an die interne API der Karte anstelle des vollständigen Renderns der Seite im Browser — dies entfernt überflüssige Skripte, Stile und Schriftarten, die keine nützlichen Daten enthalten. Drittens, filtern Sie Duplikate vor dem Parsen der detaillierten Karten: Wenn das Unternehmen bereits in einem anderen Bezirk derselben Stadt vorkam, stellen Sie keine wiederholte Anfrage an seine Seite — vergleichen Sie nach Name und Adresse in der Listenphase. Viertens, sammeln Sie zunächst vereinfachte Listen für alle Städte und fordern Sie detaillierte Karten nur für Unternehmen an, die den Filter nach Bewertung oder Kategorie bestanden haben — dies ist besonders nützlich, wenn Sie nicht alle 10.000, sondern nur die Top-30% nach Relevanz benötigen.
Diese Techniken reduzieren nicht nur das Verkehrsvolumen, sondern auch die Anzahl der Anfragen an die Kartenserver, was bedeutet — und das Risiko einer Sperrung. Für die Agentur bedeutet dies geringere Ausgaben für Proxy-Verkehr zum gleichen Tarif und die Möglichkeit, mehr Städte im gleichen Budget zu sammeln.
Häufige Fehler bei der Leadgenerierung mit Karten
Der erste Fehler ist der Start der Sammlung von einer statischen IP ohne Rotation. Selbst bei einer geringen Anfragegeschwindigkeit registriert die Karte anomale Aktivitäten bereits nach 200-300 Anfragen hintereinander, und die weitere Sammlung wird ohne IP-Wechsel unmöglich.
Der zweite Fehler ist die Ignorierung der regionalen Übereinstimmung von Proxys und der Zielstadt. Wenn Sie Unternehmen in Kasan über IPs aus einem anderen Land sammeln, zeigt die Karte häufiger irrelevante Ergebnisse oder blockiert die Anfrage sofort als verdächtig.
Der dritte Fehler ist das Fehlen einer Verkehrsberechnung vor dem Start. Teams starten oft die Sammlung „nach Gefühl“ und stoßen in der Mitte der Aufgabe auf das Limit des Proxy-Verkehrs, wodurch bereits gesammelte Daten aufgrund der Unterbrechung der Sitzung verloren gehen.
Der vierte Fehler ist das Sammeln ohne Duplikatfilterung in Echtzeit. Beim Parsen von 10.000 Positionen über mehrere sich überschneidende Anfragen (z. B. „Cafés“ und „Restaurants“ in einem Bezirk) können Duplikate 15-25% der Datenbank ausmachen, was den berechneten Verkehr und die tatsächlichen Kosten künstlich erhöht.
Der fünfte Fehler ist die Verwendung desselben User-Agent und derselben Header für alle Anfragen der Sitzung. Antibot-Systeme der Karten analysieren nicht nur die IP, sondern auch die Konsistenz des digitalen Fingerabdrucks des Browsers, daher wird für große Volumina empfohlen, die Rotation von Proxys mit einem Anti-Detect-Browser zu kombinieren und den Fingerabdruck zusammen mit der IP zu ändern.
Fazit
Das Sammeln von 10.000 Unternehmen von Karten ist eine vorhersehbare Aufgabe in Bezug auf den Verkehr: Beim Parsen detaillierter Karten von Google Maps beträgt der Verbrauch etwa 2,5 GB unter Berücksichtigung der Wiederholungsanfragen, und für 2GIS und Yandex.Maps liegt der Wert 20-30% niedriger. Wenn man diese Zahl im Voraus kennt, kann man das Budget für den Proxy-Verkehr genau planen und vermeiden, dass die Sammlung in der Mitte aufgrund eines erschöpften Limits unterbrochen wird.
Der Hauptfaktor für eine erfolgreiche Sammlung ist nicht die Einsparung beim Verkehr, sondern die richtige Wahl der Proxys. Für Volumina von mehreren Tausend Karten pro Tag empfehlen wir Residential Proxys mit Rotation nach Städten — sie reduzieren den Anteil an Captchas und Wiederholungsanfragen, die bis zu 15-20% des Verkehrs verbrauchen. Wenn die Sammlung in Nischen mit besonders strenger Antibot-Schutz erfolgt, sollten mobile IPs als Ergänzung zum Hauptpool in Betracht gezogen werden — dies erhöht die Stabilität der Sitzung bei minimalen Kostensteigerungen.