Haritalardan şirket veritabanı toplayan lead üretim ajansları ve pazarlamacılar, er ya da geç aynı soruyla karşılaşır: 10.000 iletişim toplamanın gerçek maliyeti nedir ve neden hesaplar ve IP adresleri üçüncü binada yasaklanmaya başlar. Adım adım trafik hesaplamasını inceliyoruz, Google Maps, 2GIS ve Yandex.Maps'ı karşılaştırıyoruz ve bu hacimleri yasaklanmadan kaldırabilen proxy'leri gösteriyoruz.
Haritalarla lead üretimi nedir ve trafik neden hesaplanır
Haritalarla lead üretimi, Google Maps, 2GIS veya Yandex.Maps üzerinden şirketlerin iletişim bilgilerini (isim, telefon, web sitesi, adres, puan, faaliyet kategorisi) toplamak ve sonrasında soğuk aramalar, e-posta gönderimleri veya hedefli reklamlar için kullanmaktır. Bu yöntem, B2B hizmetleri satan ajanslar için özellikle popülerdir: web stüdyoları, CRM sağlayıcıları, pazarlama yüklenicileri — onlara nişler ve şehirler hakkında veritabanları gereklidir: "Kazan diş hekimlikleri", "Novosibirsk oto servisleri", "Ekaterinburg güzellik salonları".
Trafik hesaplaması üç nedenden dolayı önemlidir. Birincisi, iletilen veri hacmi, ne kadar proxy trafiği harcayacağınızı ve bunu birkaç şehirde ölçeklendirdiğinizde ne kadar maliyet olacağını belirler. İkincisi, haritalar yalnızca IP'ye değil, aynı zamanda sorgu sayısına göre anormal etkinliği kaydeder — ve 10.000 kartın toplanmasının ne kadar sorgu ürettiğini anlamazsanız, yasaklama riskini kolayca küçümseyebilirsiniz. Üçüncüsü, veri hacmini bilmek, HTML sayfasını taramak, haritanın dahili API'sini kullanmak veya hazır bir hizmet seçmek arasında daha kolay bir seçim yapmanızı sağlar — her seçenek trafiği açısından büyük farklılıklar gösterir.
Pratikte 10.000 şirket, soyut bir rakam değildir. Bu hacim, örneğin, "teknik onarım" nişinde 15-20 büyük şehirdeki mevcut tüzel kişiliklerin tam veritabanına veya Moskova veya St. Petersburg gibi büyük bir şehirdeki tüm restoranlara karşılık gelir. Bu, lead'leri paketler halinde satan bir ajans için gerçekçi bir görevdir.
Bir şirket kartı ne kadar ağırlığa sahiptir
Bir şirket kartının ağırlığı, neyi topladığınıza ve hangi yöntemle topladığınıza bağlıdır. Sadece arama sonuçları listesini (isim, kısa adres, puan) tarıyorsanız, veriler kompakt bir şekilde iletilir — genellikle bu, toplam listede her bir şirket için 3-8 KB ağırlığında haritanın dahili API'sinin JSON yanıtıdır. Ancak, ayrıntılı bir kart — telefon, web sitesi, çalışma saatleri, fotoğraflar, yorumlar — gerekiyorsa, ayrı bir sayfa açmanız veya ek bir sorgu yapmanız gerekir ve ağırlık, görüntüler ve genişletilmiş JSON nedeniyle 80-250 KB'ye kadar çıkar.
Aşağıda, CIS'teki lead üretim ajanslarının çalıştığı üç ana harita ile ilgili karşılaştırma bulunmaktadır:
| Harita | Liste içindeki kartın ağırlığı | Ayrıntılı kartın ağırlığı | Koruma özelliği |
|---|---|---|---|
| Google Maps | 5-8 KB | 150-250 KB | Tek bir IP'den sık sorgularda sert rate-limit ve captcha |
| 2GIS | 3-6 KB | 80-150 KB | Katalog API'sine yapılan sorguların sıklığına göre yasaklama |
| Yandex.Maps | 4-7 KB | 100-200 KB | Davranış analizi ve proxy kara listeleri ile anti-bot sistemi |
Önemli bir nokta: liste ağırlığı, tüm kartın ağırlığı değildir. Şirketin telefonunu ve web sitesini almak için çoğu durumda ayrıntılı sayfaya ayrı bir sorgu yapılması gerekir. Bu, yalnızca isimleri değil, satışlar için tam iletişim bilgilerini topluyorsanız, lead başına gerçek trafiği iki katına veya üç katına çıkarır.
10.000 şirket için trafik hesaplaması adım adım
Gerçekçi bir senaryo alalım: bir ajans, birkaç şehirdeki 10.000 şirket için Google Maps'ten tam kartlar (isim, telefon, web sitesi, adres, puan, kategori) topluyor.
Adım 1. Arama ve listeleme. Google Maps, bir sayfada yaklaşık 20 sonuç verir. 10.000 pozisyon almak için yaklaşık 500 sayfa işlem yapmanız gerekir. Her sayfa, hizmet sorguları, harita yüklemesi ve scriptler dikkate alındığında 600-900 KB ağırlığındadır. Toplamda: 500 × 750 KB ≈ 375 MB yalnızca arama aşamasında.
Adım 2. Ayrıntılı kartlar. 10.000 şirketin her biri için telefon, web sitesi ve fotoğraf ile ayrı bir sorgu gereklidir. Kart başına ortalama ağırlık 180 KB olduğunda: 10.000 × 180 KB ≈ 1,8 GB.
Adım 3. Tekrar sorgular ve yeniden denemeler. Gerçek koşullarda tarama yaparken, sorguların %10-20'si rate-limit, captcha veya tasarım değişikliği nedeniyle ilk seferde geçmez — bunları tekrar yapmak zorundasınız. Hacme %15 ekliyoruz: (375 MB + 1,8 GB) × 1,15 ≈ 2,5 GB.
Nihai rakam — 2,5 GB trafik Google Maps'ten 10.000 şirket toplarken ayrıntılı kartları tararken. Sadece telefon ve web siteleri olmadan listeleri toplarsanız, trafik 450-500 MB'a düşer, ancak böyle bir veritabanı satışlar için pek uygun olmayacaktır — telefon olmadan lead, aramaya dönüşmez.
2GIS ve Yandex.Maps için hesaplama benzerdir, ancak hacim genellikle API'nin daha kompakt formatı nedeniyle %20-30 daha düşüktür — aynı 10.000 kart için 1,7-2,2 GB hedefleyin.
Neden haritalar veri toplama nedeniyle yasaklanır
Haritalar, platformların ticari varlıklarıdır ve otomatik veri toplama, iş modellerine (kartlardaki reklam satışları, ortaklar için API erişimi) doğrudan karşıt bir durumdur. Bu nedenle, Google Maps, 2GIS ve Yandex.Maps, anormal davranışa karşı aynı derecede agresif bir şekilde tepki verir.
Ana yasaklama tetikleyicileri: bir IP'den çok yüksek sorgu sıklığı (2-3 saniyede 1'den fazla sorgu), tek tip User-Agent ve değişkenlik göstermeyen başlıklar, çerezler ve oturum verileri olmaması, normal bir tarayıcının her zaman yüklediği eşlik eden kaynaklar olmadan sorgular. Limit aşıldığında, hizmet ya captcha gösterir, ya IP'yi 15-60 dakika süreyle geçici olarak yasaklar ya da tekrar eden ihlallerde IP'yi kalıcı olarak yasaklar.
Hesaplanan hacim 2,5 GB ve 10.000+ sorgu ile bir "temiz" IP'den yasaklama olasılığı, ilk bin kartta %100'e yaklaşır. Bu nedenle, haritalarla lead üretimi için herhangi bir ciddi proje, IP adreslerinin döngüsü etrafında inşa edilir — bunun olmaması durumunda trafik hesaplaması anlamını yitirir, çünkü planlanan hacmi fiziksel olarak toplamak mümkün olmayacaktır.
Harita tarama için konut, mobil ve veri merkezi proxy'leri
Proxy türü seçimi, yasaklanmadan önce ne kadar sorgu yapabileceğinizi ve tekrar denemeler için ne kadar trafik "yakmanız" gerektiğini doğrudan etkiler. Haritalardan veri toplarken, IP'nin itibarı kritik öneme sahiptir — haritalar, veri merkezi aralıklarını çok daha sert bir şekilde yasaklar, çünkü otomatik taramanın büyük çoğunluğu buradan gelir.
| Proxy Türü | Haritaların Güven Düzeyi | Ne Zaman Uygulanmalı |
|---|---|---|
| Konut Proxy'leri | Yüksek — Gerçek kullanıcıların IP'leri | Şehirler arasında döngü ile 5.000-50.000 kart toplamak için ana araç |
| Mobil Proxy'ler | Çok yüksek — operatörlerin genel IP'leri | Sert anti-bot koruması olan nişler için noktasal toplama (Yandex.Maps) |
| Veri Merkezi Proxy'leri | Düşük-orta — genellikle kara listelerde | Deneme geçişleri, gerçek veri yüklemesi olmadan küçük hacimlerde script testleri |
Pratikte, hesaplanan 10.000 şirket için en uygun kombinasyon, konut proxy'leri'dir ve şehir alt ağları arasında döngü ile: kartlardaki hedef kitle ile aynı bölgeden IP alırsınız ve yukarıda trafik hesaplamasında dikkate aldığımız captcha ve tekrar sorguların oranını azaltırsınız. Veri merkezi proxy'leri bu görevde yalnızca 50-100 kartta scriptin test edilmesi aşamasında kullanılabilir, böylece konut trafiği bütçesini ayarlama için harcamazsınız.
Veri toplama ayarları: araçlar ve adım adım şeması
Şirket veritabanı toplamak için ajanslar genellikle sıfırdan bir tarayıcı yazmak yerine hazır no-code ve low-code araçlar kullanır. Popüler çözümler arasında A-Parser (Google Maps, 2GIS, Yandex.Maps için kod yazmadan şablonları esnek bir şekilde ayarlama), Octoparse (görsel senaryo oluşturucu) ve ZennoPoster (proxy ve anti-detect profilleri destekleyen otomasyon şablonları) bulunmaktadır. Küçük hacimler için, kartları toplamak için bulut tabanlı tarama hizmetleri, kart sayısına göre ödeme ile uygundur.
10.000 şirket toplama sürecinin adım adım şeması şu şekildedir:
- Lead'lerin gerekli olduğu şehirler ve nişler listesini belirleyin — bu, arama sorgularının sayısını belirler ve yukarıdaki bölümdeki formüle göre trafiği daha doğru tahmin etmenizi sağlar.
- Tarayıcıda her 5-10 sorguda bir döngü ile konut proxy'leri listesini ayarlayın — çoğu araç, proxy listelerini login:password@host:port formatında destekler.
- Sorgular arasında 3-7 saniye rastgele gecikme ve User-Agent döngüsü etkinleştirin — bu, sabit aralıklarla karşılaştırıldığında captcha oranını %30-40 azaltır.
- 100-200 kartta test geçişi başlatın ve gerçek trafik tüketimini kaydedin — hesaplanan ile karşılaştırarak tam hacim için tahmininizi düzeltin.
- Görevi 1.000-1.500 kayıtlık partilere bölerek 10.000 kart toplama sürecini ölçeklendirin — bu, hata kontrolünü ve hatalarda yeniden başlatmayı kolaylaştırır.
- Sonucu CSV olarak veya doğrudan CRM'ye aktarın, telefon numarası ve web sitesi üzerinden tekrar edenleri kaldırın — haritalarda genellikle ağ organizasyonları ve şubeler nedeniyle tekrarlar bulunur.
Eğer toplama görevi düzenli olarak tekrarlanıyorsa (örneğin, niş için aylık veritabanı güncellemesi), sürekli bir konut IP havuzuyla zamanlama ile otomatik başlatma ayarlamak mantıklıdır — bu, manuel yeniden başlatma için zaman tasarrufu sağlar ve yükün zaman içinde eşit dağıtılması sayesinde yasaklama riskini azaltır.
Lead kaybı olmadan trafik tüketimini nasıl azaltılır
Hesaplanan 2,5 GB'ı 10.000 şirket için veri kalitesini kaybetmeden %30-40 oranında azaltmak mümkündür, birkaç pratik yöntem uygulandığında.
Birincisi, sorgu düzeyinde görüntü yüklemesini devre dışı bırakın — işletmelerin fotoğrafları, ayrıntılı kartın ağırlığının yarısına kadar yer kaplayabilir, ancak satışlar için gerekli değildir. İkincisi, tam sayfanın tarayıcıda render edilmesi yerine haritanın dahili API'sine doğrudan sorgular kullanın — bu, yararlı veri taşımayan gereksiz scriptler, stiller ve fontları ortadan kaldırır. Üçüncüsü, ayrıntılı kartları taramadan önce tekrar edenleri filtreleyin: eğer şirket, aynı şehrin başka bir bölgesinde daha önce karşılaşıldıysa, sayfasına tekrar sorgu yapmayın — liste aşamasında isim ve adres ile karşılaştırın. Dördüncüsü, önce tüm şehirler için hafif listeler toplayın, ayrıntılı kartları yalnızca puan veya kategori filtresini geçen şirketler için sorgulayın — bu, tüm 10.000 değil, yalnızca %30'luk en alakalı olanları istiyorsanız özellikle faydalıdır.
Bu yöntemler yalnızca trafik hacmini değil, aynı zamanda harita sunucularına yapılan sorgu sayısını da azaltır, bu da yasaklama riskini azaltır. Ajans için bu, aynı tarifede proxy trafiği harcamasını daha düşük hale getirir ve aynı bütçeyle daha fazla şehri toplama imkanı sağlar.
Haritalardan lead toplarken sık yapılan hatalar
İlk hata — döngü olmadan tek bir statik IP ile toplama başlatmak. Sorgu hızları düşük olsa bile, harita 200-300 ardışık sorgudan sonra anormal etkinliği kaydeder ve daha fazla toplama, IP değişmeden mümkün olmaz.
İkinci hata — proxy'nin ve hedef şehrin bölgesel uyumunu göz ardı etmek. Eğer Kazan'daki şirketleri başka bir ülkeden gelen IP ile topluyorsanız, harita genellikle alakasız sonuçlar gösterir veya sorguyu hemen şüpheli olarak yasaklar.
Üçüncü hata — başlatmadan önce trafik hesaplamasının olmaması. Ekipler genellikle toplama işlemini "göz kararı" ile başlatır ve görev ortasında proxy trafiği limitine ulaşarak daha önce toplanan verileri kaybeder.
Dördüncü hata — anlık deduplication olmadan toplama. Birkaç kesişen sorgu (örneğin, bir bölgede "kafe" ve "restoran") üzerinden 10.000 pozisyon tararken, tekrarlar veritabanının %15-25'ini oluşturabilir, bu da hesaplanan trafiği ve gerçek maliyetleri yapay olarak artırır.
Beşinci hata — oturumdaki tüm sorgular için aynı User-Agent ve başlıkları kullanmak. Haritaların anti-bot sistemleri yalnızca IP'yi değil, aynı zamanda tarayıcı dijital parmak izinin tutarlılığını da analiz eder, bu nedenle büyük hacimler için proxy döngüsünü anti-detect tarayıcı ile birleştirmek ve IP ile birlikte parmak izini değiştirmek önerilir.
Sonuç
Haritalardan 10.000 şirket toplamak, trafik açısından öngörülebilir bir görevdir: Google Maps'ten ayrıntılı kartları tararken tüketim yaklaşık 2,5 GB'dır ve tekrar sorgular dikkate alındığında, 2GIS ve Yandex.Maps için bu değer %20-30 daha düşüktür. Bu rakamı önceden bilmek, proxy trafiği için bütçeyi doğru bir şekilde planlamanızı sağlar ve toplama işleminin ortasında limitin tükenmesi nedeniyle kesilme durumunu önler.
Başarılı bir toplama için en önemli faktör, trafik tasarrufu değil, doğru proxy seçimi. Günlük birkaç bin kart hacimlerinde, captcha ve tekrar sorgu oranını %15-20 azaltan konut proxy'leri'ni şehirler arasında döngü ile öneriyoruz. Eğer toplama, özellikle sert anti-bot koruması olan nişler için yapılıyorsa, ana havuza ek olarak mobil IP'leri düşünmek, oturumun kararlılığını artırır ve maliyet artışını en aza indirir.