اگر شما قیمت‌های اجاره آپارتمان‌ها را به‌طور همزمان در چندین شهر جمع‌آوری می‌کنید — برای تحلیل بازار، قیمت‌گذاری یا فروش مجدد داده‌ها به مشاوران املاک — دیر یا زود با کپچا، مسدودیت‌های موقتی و مصرف غیرقابل پیش‌بینی ترافیک مواجه خواهید شد. در این مقاله، طرح مشخصی برای جمع‌آوری آگهی‌ها از آویتو، سیان و یاندکس.املاک در 5 شهر بررسی خواهیم کرد و محاسبه می‌کنیم که چه مقدار گیگابایت ترافیک واقعی باید در بودجه برای پروکسی‌ها در نظر گرفته شود.
چرا باید قیمت اجاره را در چندین شهر نظارت کنیم
نظارت بر قیمت‌های اجاره در چندین شهر فقط برای آژانس‌های املاک ضروری نیست. این یک وظیفه برای تحلیلگران بازار، مدیران شرکت‌ها، سرمایه‌گذاران در املاک و سرویس‌هایی است که گزارش‌های بازار اجاره را می‌فروشند. مقایسه قیمت‌ها در مسکو، سن‌پترزبورگ، قازان، یكاترینبورگ و نووسیبیرسک امکان مشاهده دینامیک تقاضا، فصلیت و ناهنجاری‌ها را فراهم می‌کند — به عنوان مثال، کاهش ناگهانی قیمت‌ها در یک منطقه به دلیل عرضه انبوه آپارتمان‌ها توسط یک مالک.
برای آژانس‌های مشاور املاک، این همچنین یک روش برای واکنش سریع به دامپینگ رقبا است: اگر در یک مجتمع مسکونی همسایه، آگهی‌ای با 15% ارزان‌تر از بازار منتشر شده باشد، باید این را در عرض یک ساعت مشاهده کرد، نه یک هفته. مشاهده دستی آگهی‌ها از طریق مرورگر برای 5 شهر 3-4 ساعت در روز از یک کارمند زمان می‌برد — اتوماسیون با پروکسی این زمان را به 10-15 دقیقه برای بررسی نتایج کاهش می‌دهد.
نکته مهم: پلتفرم‌های آگهی (آویتو، سیان، دامکلیک) به‌طور فعال در برابر جمع‌آوری خودکار داده‌ها محافظت می‌کنند، زیرا چنین گزارش‌هایی با خدمات تحلیلی پولی خودشان رقابت می‌کنند. بنابراین، هر طرح نظارتی حول سه چیز ساخته می‌شود: شبیه‌سازی رفتار یک کاربر واقعی، تنوع آدرس‌های IP و کنترل سرعت درخواست‌ها.
از چه منابع آگهی استفاده کنیم
برای داشتن تصویر کاملی از بازار اجاره در 5 شهر، معمولاً از 2-3 منبع به‌طور همزمان استفاده می‌شود، زیرا هیچ پلتفرمی بازار را به‌طور کامل پوشش نمی‌دهد:
- آویتو املاک — بیشترین پوشش در آگهی‌های خصوصی، اما سخت‌ترین حفاظت در برابر پارسینگ و کپچاهای مکرر در صورت فعالیت مشکوک.
- سیان — در شهرهای بزرگ بیشتر نمایان است، آگهی‌های زیادی از آژانس‌ها دارد، ساختار صفحات برای جمع‌آوری پایدارتر است.
- یاندکس.املاک — یک جمع‌آورنده است که آگهی‌ها را از سایر پلتفرم‌ها می‌کشد، برای بررسی متقابل قیمت‌ها مفید است.
- دامکلیک — برای شهرهای میلیون‌نشین مناسب است، مسدودیت‌های کمتری دارد، اما آگهی‌های کمتری از افراد خصوصی دارد.
برای شروع معمولاً آویتو و سیان کافی است — آنها 70-80% پوشش بازار اجاره در شهرهای میلیون‌نشین را فراهم می‌کنند. سایر منابع زمانی متصل می‌شوند که نیاز به تحلیل عمیق‌تر یا بررسی قیمت‌های غیرعادی باشد.
طرح جمع‌آوری: پروکسی‌ها، ابزارها و دوره‌ها
طرح پایه نظارت بر قیمت اجاره در 5 شهر بر اساس منطق زیر ساخته می‌شود: برای هر شهر و هر پلتفرم یک مجموعه جداگانه از آدرس‌های IP اختصاص داده می‌شود، درخواست‌ها با فواصل زمانی که رفتار انسان را شبیه‌سازی می‌کند، انجام می‌شود و جمع‌آوری داده‌ها طبق برنامه‌ریزی چند بار در روز انجام می‌شود.
در عمل، طرح به این شکل است:
- یک راه‌حل آماده برای پارسینگ آگهی‌ها (بدون نیاز به نوشتن کد) برای جمع‌آوری لیست آگهی‌ها بر اساس فیلترها: شهر، نوع مسکن، دامنه قیمت‌ها تنظیم می‌شود.
- برای هر شهر یک پروفایل جداگانه با اتصال به پروکسی جغرافیایی منطقه مربوطه نوشته می‌شود — این احتمال کپچا را کاهش می‌دهد، زیرا IP با مکان واقعی نمونه‌گیری مطابقت دارد.
- درخواست‌ها در زمان توزیع می‌شوند: نه به‌صورت پیوسته، بلکه با وقفه‌های 3-8 ثانیه بین کارت‌های آگهی.
- جمع‌آوری داده‌ها برای هر شهر 2-4 بار در روز تکرار می‌شود — این کافی است تا آگهی‌های جدید و تغییرات قیمت‌ها را پیگیری کنیم، بدون اینکه بار غیرعادی بر روی پلتفرم ایجاد شود.
- نتایج در یک جدول یا پایگاه داده با اتصال به تاریخ و زمان جمع‌آوری برای ساخت نمودارهای دینامیک قیمت‌ها ذخیره می‌شود.
برای مدیریت چندین پروفایل جمع‌آوری بر اساس شهرها، استفاده از مرورگرهای ضد شناسایی مانند Dolphin Anty، AdsPower یا Octo Browser راحت است — آنها اجازه می‌دهند که برای هر شهر یک پروفایل مرورگر جداگانه با کوکی‌های منحصر به فرد، user-agent و، مهم‌تر از همه، پروکسی متصل به منطقه مورد نظر داشته باشید. این همان اصولی است که آربیتراژکنندگان برای چندحسابداری استفاده می‌کنند، فقط در ارتباط با وظیفه پارسینگ آگهی‌ها.
محاسبه مصرف ترافیک برای 5 شهر
مصرف ترافیک — یک پارامتر کلیدی در برنامه‌ریزی بودجه برای پروکسی‌ها است، به‌ویژه اگر شما IPهای مقیم را می‌گیرید، جایی که پرداخت بر اساس حجم داده‌های منتقل شده است. بیایید محاسبه را با مثال نظارت بر پنج شهر میلیون‌نشین: مسکو، سن‌پترزبورگ، قازان، یكاترینبورگ، نووسیبیرسک بررسی کنیم.
ورودی‌های پایه برای محاسبه:
- وزن متوسط صفحه با لیست آگهی‌ها (30-50 کارت) — 800 کیلوبایت - 1.5 مگابایت با احتساب تصاویر، اگر تصاویر مسدود نشوند، و حدود 150-250 کیلوبایت بدون بارگذاری تصاویر.
- وزن متوسط کارت یک آگهی در پارسینگ دقیق — 300-500 کیلوبایت با عکس، 40-70 کیلوبایت در حالت متنی.
- تعداد آگهی‌ها برای جمع‌آوری در هر شهر در یک بار — 300-800 بسته به اندازه بازار (مسکو و سن‌پترزبورگ — بیشتر، قازان، یكاترینبورگ، نووسیبیرسک — کمتر).
| شهر | آگهی‌ها/عبور | ترافیک بدون عکس/عبور | ترافیک/روز (3 عبور) |
|---|---|---|---|
| مسکو | 800 | ~45 مگابایت | ~135 مگابایت |
| سن‌پترزبورگ | 650 | ~37 مگابایت | ~111 مگابایت |
| قازان | 350 | ~20 مگابایت | ~60 مگابایت |
| یكاترینبورگ | 380 | ~22 مگابایت | ~66 مگابایت |
| نووسیبیرسک | 400 | ~23 مگابایت | ~69 مگابایت |
در مجموع، حدود 440 مگابایت ترافیک در روز برای 5 شهر با سه عبور در روز و بارگذاری تصاویر خاموش به‌دست می‌آید. در ماه، این تقریباً 13 گیگابایت است. اگر شما همچنین عکس‌های آگهی‌ها را برای بررسی بصری جمع‌آوری کنید (به عنوان مثال، برای تمایز بین آپارتمان‌های واقعی و آگهی‌های کلاهبرداری)، مصرف به 6-8 برابر افزایش می‌یابد — تا 80-100 گیگابایت در ماه برای 5 شهر.
توصیه عملی: در شروع، بارگذاری تصاویر و استایل‌ها را در سطح تنظیمات پارسر یا پروفایل مرورگر خاموش کنید — این مصرف ترافیک را به‌طور قابل توجهی کاهش می‌دهد بدون اینکه داده‌های مربوط به قیمت، آدرس و مساحت آپارتمان از دست برود. عکس‌ها می‌توانند به‌طور نقطه‌ای فقط برای آگهی‌هایی با قیمت مشکوک پایین بارگذاری شوند.
چه پروکسی‌هایی برای هر منبع انتخاب کنیم
انتخاب نوع پروکسی به‌طور مستقیم بر تعداد کپچاهایی که مشاهده خواهید کرد و همچنین ثبات جمع‌آوری داده‌ها تأثیر می‌گذارد. برای نظارت بر آگهی‌ها در 5 شهر، پلتفرم‌های مختلف نیاز به رویکردهای متفاوتی دارند.
| پلتفرم | نوع پروکسی پیشنهادی | دلیل |
|---|---|---|
| آویتو | پروکسی‌های مقیم | محافظت سخت در برابر IPهای دیتاسنتر، نیاز به آدرس‌های واقعی ارائه‌دهندگان |
| سیان | پروکسی‌های مقیم | الگوهای درخواست‌ها را ردیابی می‌کند، نیاز به وابستگی جغرافیایی به شهر دارد |
| یاندکس.املاک | پروکسی‌های دیتاسنتر | محافظت ضعیف‌تر، می‌توان بر روی سرعت و هزینه صرفه‌جویی کرد |
| دامکلیک | پروکسی‌های دیتاسنتر | محافظت متوسط، سرعت بالای جمع‌آوری مهم‌تر از ناشناسی است |
برای آویتو به‌طور جداگانه باید به پروکسی‌های موبایل اشاره کرد — اگر شما داده‌ها را از طریق برنامه موبایل جمع‌آوری کنید یا ترافیک موبایل را شبیه‌سازی کنید، پلتفرم کمتر این درخواست‌ها را به‌عنوان مشکوک علامت‌گذاری می‌کند، زیرا IPهای موبایل توسط اپراتورهای ارتباطی به‌طور مداوم توسط کاربران واقعی مختلف دوباره استفاده می‌شوند. برای وظایف نظارت بر املاک، این موضوع زمانی مهم است که IPهای مقیم دسکتاپ در یک منطقه خاص به‌طور مکرر تحت کپچا قرار می‌گیرند.
چرخش IP و فرکانس درخواست‌ها بدون مسدودیت
اشتباه رایج در نظارت بر قیمت اجاره — تلاش برای جمع‌آوری همه 5 شهر از یک آدرس IP به‌طور متوالی است. پلتفرم‌ها افزایش ناگهانی درخواست‌ها از یک IP به بخش‌های جغرافیایی مختلف سایت را مشاهده می‌کنند و این را به‌عنوان اتوماسیون در نظر می‌گیرند حتی اگر وقفه‌ها بین درخواست‌ها رعایت شود.
طرح کارآمد چرخش به این شکل است:
- یک IP جداگانه (یا یک مجموعه کوچک از 3-5 IP) را برای هر شهر در تمام دوره جمع‌آوری اختصاص دهید — این منطقی است، زیرا یک کاربر واقعی از قازان نمی‌تواند به‌طور همزمان آگهی‌ها را در نووسیبیرسک مشاهده کند.
- IP را درون مجموعه هر 30-50 درخواست کارت‌های آگهی تغییر دهید، نه برای هر درخواست — تغییر بیش از حد IP نیز مشکوک به نظر می‌رسد.
- بین درخواست‌های کارت‌ها 4-10 ثانیه وقفه بگذارید و بین عبور از بخش‌های مختلف سایت 1-3 دقیقه وقفه داشته باشید.
- جمع‌آوری برای 5 شهر را به‌طور دقیق همزمان آغاز نکنید، بلکه با یک تأخیر کوچک زمانی — 5-15 دقیقه بین شروع جمع‌آوری برای هر شهر.
با این رویکرد، معمولاً برای 5 شهر یک مجموعه از 15-25 IP مقیم با چرخش درون جلسه کافی است، اگر حجم جمع‌آوری از 500-800 آگهی در هر شهر در یک عبور تجاوز نکند. برای جمع‌آوری تهاجمی‌تر (به عنوان مثال، نظارت ساعتی) مجموعه باید به 40-50 IP افزایش یابد تا بار بر روی هر آدرس در محدوده‌ای مشابه رفتار یک کاربر عادی باقی بماند.
اشتباهات رایج در نظارت بر آگهی‌ها
بر اساس موارد رایج، می‌توان چندین اشتباه را شناسایی کرد که بیشتر به مسدودیت‌ها و قطع جمع‌آوری داده‌ها در چندین شهر منجر می‌شوند:
- یک IP برای همه شهرها — پلتفرم موقعیت جغرافیایی غیرمنطقی را مشاهده می‌کند و دسترسی را سریع‌تر از استفاده از IPهای محلی برای هر منطقه محدود می‌کند.
- جمع‌آوری بیش از حد مکرر — نظارت هر 10-15 دقیقه به ندرت برای بازار اجاره توجیه‌پذیر است، قیمت‌ها به این سرعت تغییر نمی‌کنند و بار بر روی منبع به‌طور متناسب افزایش می‌یابد.
- نادیده گرفتن User-Agent و هدرهای مرورگر — عدم تطابق بین IP اپراتور موبایل و user-agent دسکتاپ بلافاصله خطر مسدودیت را افزایش می‌دهد.
- عدم وجود مجموعه پشتیبان پروکسی — اگر تمام ترافیک از طریق یک نوع پروکسی بدون مجموعه پشتیبان عبور کند، در صورت مسدودیت انبوه، جمع‌آوری داده‌ها به‌طور کامل برای چند ساعت متوقف می‌شود.
- جمع‌آوری بدون محدودیت بر روی عکس‌ها — منجر به مصرف ترافیک 5-8 برابر بیشتر بدون ارزش افزوده برای تحلیل قیمت‌ها می‌شود.
این اشتباهات به راحتی در مرحله تنظیم قابل رفع هستند — کافی است پیشاپیش مجموعه پروکسی را بر اساس شهرها تقسیم کنید، فرکانس درخواست‌ها را محدود کنید و بارگذاری محتوای اضافی را خاموش کنید.
نتیجه‌گیری و توصیه‌ها
نظارت بر قیمت اجاره از طریق آگهی‌ها در 5 شهر — وظیفه‌ای است که بدون نیاز به نوشتن کد حل می‌شود، اگر طرح به درستی تنظیم شود: پروکسی جغرافیایی جداگانه برای هر شهر، فرکانس منطقی درخواست‌ها، خاموش کردن فایل‌های رسانه‌ای اضافی و چرخش IP درون مجموعه اختصاصی. با این رویکرد، مصرف ترافیک در 10-15 گیگابایت در ماه بدون عکس و 80-100 گیگابایت با بارگذاری کامل تصاویر آگهی‌ها باقی می‌ماند.
برای شروع جمع‌آوری داده‌ها از آویتو و سیان، توصیه می‌کنیم از پروکسی‌های مقیم استفاده کنید — آنها کمترین درصد کپچا را در کار با پلتفرم‌های حساس به جغرافیا ارائه می‌دهند. اگر بودجه محدود است یا منبع دارای محافظت ضعیفی است (به عنوان مثال، جمع‌آورنده‌هایی مانند یاندکس.املاک)، می‌توانید به پروکسی‌های دیتاسنتر ارزان‌تر بدون از دست دادن کیفیت جمع‌آوری داده‌ها منتقل شوید.