آژانس‌های تولید لید و بازاریابانی که پایگاه‌های داده‌ای از شرکت‌ها را از نقشه‌ها جمع‌آوری می‌کنند، دیر یا زود با یک سوال مشابه روبرو می‌شوند: جمع‌آوری 10,000 تماس واقعاً چقدر «وزن» دارد و چرا حساب‌ها و آدرس‌های IP از هزار سوم به بعد شروع به مسدود شدن می‌کنند. ما محاسبات ترافیک را مرحله به مرحله بررسی می‌کنیم، Google Maps، 2GIS و Yandex.Maps را مقایسه می‌کنیم و نشان می‌دهیم که کدام پروکسی‌ها این حجم‌ها را بدون مسدود شدن تحمل می‌کنند.
تولید لید از نقشه‌ها چیست و چرا باید ترافیک را محاسبه کنیم
تولید لید از نقشه‌ها به جمع‌آوری داده‌های تماس شرکت‌ها (نام، تلفن، وب‌سایت، آدرس، رتبه، دسته‌بندی فعالیت) از طریق Google Maps، 2GIS یا Yandex.Maps برای تماس‌های سرد، ایمیل‌های تبلیغاتی یا تبلیغات هدفمند اشاره دارد. این روش به ویژه در میان آژانس‌هایی که خدمات B2B را می‌فروشند، محبوب است: استودیوهای وب، ارائه‌دهندگان CRM، پیمانکاران بازاریابی — آنها به پایگاه‌های داده‌ای در زمینه‌ها و شهرها نیاز دارند: «دندانپزشکی‌های کازان»، «خدمات خودرو در نووسیبیرسک»، «سالن‌های زیبایی در یکتیرینبورگ».
محاسبه ترافیک به سه دلیل مهم است. اولاً، حجم داده‌های منتقل شده تعیین می‌کند که چقدر پروکسی-ترافیک مصرف خواهید کرد و هزینه آن در مقیاس‌گذاری به چندین شهر چقدر خواهد بود. ثانیاً، نقشه‌ها فعالیت غیرعادی را بر اساس تعداد درخواست‌ها ثبت می‌کنند، نه فقط بر اساس IP — و اگر ندانید که جمع‌آوری 10,000 کارت چه تعداد درخواست تولید می‌کند، به راحتی می‌توانید ریسک مسدود شدن را دست کم بگیرید. ثالثاً، با دانستن حجم دقیق داده‌ها، انتخاب بین پارسینگ صفحه HTML، استفاده از API داخلی نقشه یا سرویس آماده آسان‌تر می‌شود — هر گزینه از نظر ترافیک تفاوت‌های زیادی دارد.
در عمل، 10,000 شرکت یک عدد انتزاعی نیست. این حجم به عنوان مثال معادل با پایگاه کامل شرکت‌های فعال در زمینه «تعمیر تجهیزات» در 15-20 شهر میلیون‌نشین روسیه است، یا تمام مؤسسات غذایی در یک شهر بزرگ مانند مسکو یا سن‌پترزبورگ. این یک وظیفه واقع‌گرایانه برای آژانسی است که لیدها را به صورت بسته‌ای می‌فروشد.
وزن یک کارت شرکت چقدر است
وزن یک کارت شرکت به این بستگی دارد که دقیقاً چه چیزی را جمع‌آوری می‌کنید و به چه روشی. اگر فقط لیست نتایج جستجو (نام، آدرس مختصر، رتبه) را پارس کنید، داده‌ها به صورت فشرده منتقل می‌شوند — معمولاً این یک پاسخ JSON از API داخلی نقشه است که وزن آن 3-8 کیلوبایت برای هر شرکت در لیست کلی است. اما اگر به کارت دقیق‌تری نیاز دارید — تلفن، وب‌سایت، ساعات کاری، تصاویر، نظرات — باید صفحه جداگانه‌ای را باز کنید یا درخواست اضافی انجام دهید و وزن به 80-250 کیلوبایت به دلیل تصاویر و JSON گسترش یافته افزایش می‌یابد.
در زیر مقایسه‌ای از سه نقشه اصلی که آژانس‌های تولید لید در کشورهای CIS با آنها کار می‌کنند، ارائه شده است:
| نقشه | وزن کارت در لیست | وزن کارت دقیق | ویژگی حفاظت |
|---|---|---|---|
| Google Maps | 5-8 کیلوبایت | 150-250 کیلوبایت | محدودیت سخت و کپچا در صورت درخواست‌های مکرر از یک IP |
| 2GIS | 3-6 کیلوبایت | 80-150 کیلوبایت | مسدودسازی بر اساس فرکانس درخواست‌ها به API دایرکتوری |
| Yandex.Maps | 4-7 کیلوبایت | 100-200 کیلوبایت | سیستم ضد ربات با تحلیل رفتار و لیست‌های سیاه پروکسی |
نکته مهم: وزن لیست هنوز تمام کارت نیست. برای دریافت تلفن و وب‌سایت شرکت، در اکثر موارد به یک درخواست جداگانه به صفحه دقیق نیاز است. این واقعاً ترافیک واقعی را برای لید دو برابر یا حتی سه برابر می‌کند، اگر شما فقط نام‌ها را جمع‌آوری نکنید، بلکه تماس‌های کامل برای فروش را جمع‌آوری کنید.
محاسبه ترافیک برای 10,000 شرکت مرحله به مرحله
بیایید یک سناریوی واقع‌گرایانه را در نظر بگیریم: آژانس کارت‌های کامل (نام، تلفن، وب‌سایت، آدرس، رتبه، دسته‌بندی) را از Google Maps برای 10,000 شرکت در چندین شهر جمع‌آوری می‌کند.
مرحله 1. جستجو و لیست‌گذاری. Google Maps تقریباً 20 نتیجه در هر صفحه نمایش می‌دهد. برای به دست آوردن 10,000 موقعیت، باید حدود 500 صفحه نمایش را پردازش کنید. هر صفحه با در نظر گرفتن درخواست‌های خدماتی، بارگذاری نقشه و اسکریپت‌ها 600-900 کیلوبایت وزن دارد. در مجموع: 500 × 750 کیلوبایت ≈ 375 مگابایت فقط در مرحله جستجو.
مرحله 2. کارت‌های دقیق. برای هر یک از 10,000 شرکت به یک درخواست جداگانه با تلفن، وب‌سایت و عکس نیاز است. با وزن متوسط 180 کیلوبایت برای هر کارت: 10,000 × 180 کیلوبایت ≈ 1.8 گیگابایت.
مرحله 3. درخواست‌های تکراری و بازتلاش‌ها. در شرایط واقعی، 10-20% درخواست‌ها به دلیل محدودیت نرخ، کپچا یا تغییر قالب در اولین بار موفق نمی‌شوند — آنها باید تکرار شوند. 15% دیگر به حجم اضافه می‌شود: (375 مگابایت + 1.8 گیگابایت) × 1.15 ≈ 2.5 گیگابایت.
عدد نهایی — حدود 2.5 گیگابایت ترافیک برای جمع‌آوری 10,000 شرکت از Google Maps در حین پارسینگ کارت‌های دقیق است. اگر فقط لیست‌ها را بدون تلفن‌ها و وب‌سایت‌ها جمع‌آوری کنید، ترافیک به 450-500 مگابایت کاهش می‌یابد، اما چنین پایگاهی برای فروش بسیار مناسب نخواهد بود — بدون تلفن، لید به تماس تبدیل نمی‌شود.
برای 2GIS و Yandex.Maps محاسبه مشابه است، اما حجم معمولاً به دلیل فرمت فشرده‌تر API 20-30% کمتر است — به 1.7-2.2 گیگابایت برای همان 10,000 کارت توجه کنید.
چرا نقشه‌ها به دلیل جمع‌آوری داده‌های انبوه مسدود می‌شوند
نقشه‌ها یک دارایی تجاری برای خود پلتفرم‌ها هستند و جمع‌آوری خودکار داده‌های انبوه به طور مستقیم با مدل کسب‌وکار آنها (فروش تبلیغات در کارت‌ها، دسترسی API برای شرکا) در تضاد است. بنابراین Google Maps، 2GIS و Yandex.Maps به طور یکسان به رفتار غیرعادی واکنش نشان می‌دهند.
سه محرک اصلی مسدودسازی: فرکانس درخواست‌ها از یک IP بسیار بالا (بیش از 1 درخواست در 2-3 ثانیه)، User-Agent و هدرهای یکسان بدون تنوع، عدم وجود کوکی‌ها و داده‌های جلسه، درخواست‌ها بدون منابع همراه (تصاویر، اسکریپت‌ها) که یک مرورگر معمولی همیشه بارگذاری می‌کند. وقتی به حد مجاز برسید، سرویس یا کپچا را نشان می‌دهد، یا IP را به مدت 15-60 دقیقه مسدود می‌کند، یا در صورت نقض‌های مکرر، IP را به طور دائم مسدود می‌کند.
برای حجم محاسباتی 2.5 گیگابایت و 10,000+ درخواست از یک IP «پاک» احتمال مسدود شدن در اولین هزار کارت به 100% نزدیک می‌شود. به همین دلیل هر پروژه جدی تولید لید از نقشه‌ها حول چرخش آدرس‌های IP ساخته می‌شود — بدون این، محاسبه ترافیک بی‌معنا می‌شود، زیرا جمع‌آوری حجم برنامه‌ریزی شده به طور فیزیکی ممکن نخواهد بود.
پروکسی‌های مقیم، موبایل و دیتاسنتر برای پارسینگ نقشه‌ها
انتخاب نوع پروکسی به طور مستقیم بر تعداد درخواست‌هایی که می‌توانید قبل از مسدود شدن انجام دهید و چه مقدار ترافیک باید برای تلاش‌های تکراری «سوزانده» شود تأثیر می‌گذارد. برای جمع‌آوری داده‌ها از نقشه‌ها، شهرت IP بسیار حیاتی است — نقشه‌ها به طور قابل توجهی سخت‌تر آدرس‌های IP دیتاسنتر را مسدود می‌کنند، زیرا عمده حجم پارسینگ خودکار از آنجا ناشی می‌شود.
| نوع پروکسی | سطح اعتماد نقشه‌ها | کی استفاده کنیم |
|---|---|---|
| پروکسی‌های مقیم | بالا — IP کاربران واقعی | ابزار اصلی برای جمع‌آوری 5,000-50,000 کارت با چرخش در شهرها |
| پروکسی‌های موبایل | بسیار بالا — IPهای عمومی اپراتورها | جمع‌آوری نقطه‌ای بر اساس زمینه‌ها با حفاظت ضد ربات سخت (Yandex.Maps) |
| پروکسی‌های دیتاسنتر | پایین-متوسط — بیشتر در لیست‌های سیاه | پروگ‌های آزمایشی، تست‌های اسکریپت‌ها در حجم‌های کم بدون بارگذاری واقعی |
در عمل، برای 10,000 شرکت محاسبه شده، ترکیب بهینه پروکسی‌های مقیم با چرخش در زیرشبکه‌های شهرها است: شما IP را از همان منطقه دریافت می‌کنید که مخاطب هدف در کارت‌ها قرار دارد و درصد کپچا و درخواست‌های تکراری که در محاسبه ترافیک بالا ذکر کردیم را کاهش می‌دهید. پروکسی‌های دیتاسنتر در این وظیفه تنها می‌توانند در مرحله آزمایش اسکریپت در 50-100 کارت استفاده شوند تا بودجه ترافیک مقیم را برای اشکال‌زدایی نسوزانید.
تنظیمات جمع‌آوری داده‌ها: ابزارها و طرح مرحله به مرحله
برای جمع‌آوری پایگاه داده‌ای از شرکت‌ها از نقشه‌ها، آژانس‌ها معمولاً از ابزارهای آماده no-code و low-code استفاده می‌کنند، نه اینکه یک پارسر از صفر بنویسند. از جمله راه‌حل‌های محبوب — A-Parser (تنظیمات انعطاف‌پذیر الگوها برای Google Maps، 2GIS، Yandex.Maps بدون نوشتن کد)، Octoparse (سازنده بصری سناریوهای جمع‌آوری) و ZennoPoster (الگوهای اتوماسیون با پشتیبانی از پروکسی و پروفایل‌های ضد شناسایی). برای حجم‌های کوچک، سرویس‌های ابری پارسینگ نقشه با پرداخت بر اساس تعداد کارت‌ها مناسب هستند.
طرح مرحله به مرحله راه‌اندازی جمع‌آوری 10,000 شرکت به این صورت است:
- لیست شهرها و زمینه‌هایی را که به لید نیاز دارید تعیین کنید — این تعداد درخواست‌های جستجو را مشخص می‌کند و به پیش‌بینی دقیق‌تر ترافیک بر اساس فرمول بخش بالا کمک می‌کند.
- در پارسر، لیست پروکسی‌های مقیم را با چرخش IP هر 5-10 درخواست تنظیم کنید — بیشتر ابزارها از لیست‌های پروکسی در فرمت login:password@host:port پشتیبانی می‌کنند.
- تأخیر تصادفی بین درخواست‌ها 3-7 ثانیه و چرخش User-Agent را فعال کنید — این درصد کپچا را نسبت به فواصل ثابت 30-40% کاهش می‌دهد.
- یک آزمایش تستی روی 100-200 کارت اجرا کنید و مصرف واقعی ترافیک را ثبت کنید — آن را با محاسبات مقایسه کنید تا پیش‌بینی را برای حجم کامل تنظیم کنید.
- جمع‌آوری را به 10,000 کارت گسترش دهید و وظیفه را به دسته‌های 1,000-1,500 رکورد تقسیم کنید — این کنترل خطاها و راه‌اندازی مجدد در صورت بروز خطا را آسان‌تر می‌کند.
- نتیجه را به CSV یا مستقیماً به CRM صادر کنید و تکراری‌ها را بر اساس شماره تلفن و وب‌سایت حذف کنید — در نقشه‌ها تکرارها به دلیل سازمان‌های شبکه‌ای و شعب به وفور مشاهده می‌شود.
اگر وظیفه جمع‌آوری به طور منظم تکرار شود (به عنوان مثال، به‌روزرسانی ماهانه پایگاه داده در زمینه)، منطقی است که بلافاصله راه‌اندازی خودکار را بر اساس زمان‌بندی با یک مجموعه دائمی از IPهای مقیم تنظیم کنید — این زمان را برای راه‌اندازی دستی مجدد صرفه‌جویی می‌کند و ریسک مسدود شدن را به دلیل توزیع یکنواخت بار در زمان کاهش می‌دهد.
چگونه مصرف ترافیک را بدون از دست دادن لیدها کاهش دهیم
2.5 گیگابایت محاسباتی برای 10,000 شرکت را می‌توان بدون از دست دادن کیفیت داده‌ها 30-40% کاهش داد، اگر چندین تکنیک عملی را به کار ببرید.
اولاً، بارگذاری تصاویر را در سطح درخواست غیرفعال کنید — عکس‌های مؤسسات تا نیمی از وزن کارت دقیق را اشغال می‌کنند، اما برای فروش به آنها نیازی نیست. ثانیاً، از درخواست‌های مستقیم به API داخلی نقشه به جای رندر کامل صفحه در مرورگر استفاده کنید — این اسکریپت‌ها، استایل‌ها و فونت‌های اضافی را که داده‌های مفیدی ندارند حذف می‌کند. ثالثاً، تکراری‌ها را قبل از پارسینگ کارت‌های دقیق فیلتر کنید: اگر شرکت قبلاً در منطقه دیگری از همان شهر دیده شده است، درخواست تکراری به صفحه آن نکنید — در مرحله لیست بر اساس نام و آدرس مقایسه کنید. رابعاً، ابتدا لیست‌های سبک را در تمام شهرها جمع‌آوری کنید و کارت‌های دقیق را فقط برای شرکت‌هایی که فیلتر رتبه یا دسته‌بندی را گذرانده‌اند درخواست کنید — این به ویژه مفید است اگر شما به همه 10,000 نیاز ندارید، بلکه فقط به 30% برتر از نظر مرتبط بودن نیاز دارید.
این تکنیک‌ها نه تنها حجم ترافیک را کاهش می‌دهند، بلکه تعداد درخواست‌ها به سرورهای نقشه‌ها را نیز کاهش می‌دهند، و به این ترتیب — و ریسک مسدود شدن. برای آژانس، این به معنای مصرف کمتر پروکسی-ترافیک با همان تعرفه و امکان جمع‌آوری شهرهای بیشتر با همان بودجه است.
اشتباهات رایج در جمع‌آوری لیدها از نقشه‌ها
اولین اشتباه — راه‌اندازی جمع‌آوری از یک IP ثابت بدون چرخش. حتی با سرعت کم درخواست‌ها، نقشه فعالیت غیرعادی را پس از 200-300 درخواست متوالی ثبت می‌کند و جمع‌آوری بیشتر بدون تغییر IP غیرممکن می‌شود.
دومین اشتباه — نادیده گرفتن تطابق منطقه‌ای پروکسی و شهر هدف. اگر شما شرکت‌های کازان را از طریق IP از کشور دیگری جمع‌آوری کنید، نقشه بیشتر اوقات نتایج نامربوطی را نشان می‌دهد یا بلافاصله درخواست را به عنوان مشکوک مسدود می‌کند.
سومین اشتباه — عدم محاسبه ترافیک قبل از راه‌اندازی. تیم‌ها اغلب جمع‌آوری را «به چشم» شروع می‌کنند و در میانه کار به محدودیت ترافیک پروکسی می‌رسند و داده‌های جمع‌آوری شده را به دلیل قطع جلسه از دست می‌دهند.
چهارمین اشتباه — جمع‌آوری بدون حذف تکراری‌ها در حین کار. در پارسینگ 10,000 موقعیت از چندین درخواست همپوشان (به عنوان مثال، «کافه» و «رستوران» در یک منطقه) تکراری‌ها می‌توانند 15-25% پایگاه را تشکیل دهند که به طور مصنوعی ترافیک محاسباتی و هزینه‌های واقعی را افزایش می‌دهد.
پنجمین اشتباه — استفاده از یک User-Agent و هدرهای یکسان برای تمام درخواست‌های جلسه. سیستم‌های ضد ربات نقشه‌ها نه تنها IP را تحلیل می‌کنند، بلکه انسجام اثر انگشت دیجیتال مرورگر را نیز بررسی می‌کنند، بنابراین برای حجم‌های بزرگ توصیه می‌شود که چرخش پروکسی را با مرورگر ضد شناسایی ترکیب کنید و اثر انگشت را همراه با IP تغییر دهید.
نتیجه‌گیری
جمع‌آوری 10,000 شرکت از نقشه‌ها یک وظیفه قابل پیش‌بینی از نظر ترافیک است: در حین پارسینگ کارت‌های دقیق از Google Maps، مصرف حدود 2.5 گیگابایت با در نظر گرفتن درخواست‌های تکراری است، و برای 2GIS و Yandex.Maps این عدد 20-30% کمتر است. با دانستن این عدد از قبل، می‌توان بودجه ترافیک پروکسی را به دقت برنامه‌ریزی کرد و از وضعیتی که جمع‌آوری در میانه کار به دلیل محدودیت تمام می‌شود، جلوگیری کرد.
عامل اصلی موفقیت در جمع‌آوری — صرفه‌جویی در ترافیک نیست، بلکه انتخاب صحیح پروکسی است. برای حجم‌های چند هزار کارت در روز، توصیه می‌کنیم از پروکسی‌های مقیم با چرخش در شهرها استفاده کنید — آنها درصد کپچا و درخواست‌های تکراری را کاهش می‌دهند که تا 15-20% ترافیک را مصرف می‌کنند. اگر جمع‌آوری در زمینه‌هایی با حفاظت ضد ربات بسیار سخت انجام شود، باید IPهای موبایل را به عنوان مکملی به مجموعه اصلی در نظر بگیرید — این ثبات جلسه را با حداقل افزایش هزینه افزایش می‌دهد.