فروشندگان Wildberries و Ozon اغلب بودجه پروکسی را «به چشم» تخمین می‌زنند — و یا 3-4 برابر بیشتر پرداخت می‌کنند، یا بسته‌ای بسیار ارزان می‌خرند که در عرض یک هفته تمام می‌شود. بیایید بررسی کنیم که چگونه به درستی حجم ترافیک را برای نظارت بر 10,000 کالا در ماه محاسبه کنیم، چه نوع پروکسی را برای این بار انتخاب کنیم و بر روی چه چیزی می‌توانیم بدون از دست دادن کیفیت داده‌ها صرفه‌جویی کنیم.
چرا باید 10,000 کالا را نظارت کنیم، نه 100
اگر شما 100-200 کالا دارید، می‌توانید قیمت‌های رقباء را به صورت دستی روزی یک بار بررسی کنید. اما وقتی که کاتالوگ به هزاران SKU افزایش می‌یابد و رقباء قیمت‌ها را 5-10 بار در روز تغییر می‌دهند (به ویژه در زمان تخفیف‌های Wildberries و Ozon)، نظارت دستی به یک خیال تبدیل می‌شود — داده‌ها سریع‌تر از آنچه که شما بتوانید جمع‌آوری کنید، قدیمی می‌شوند.
10,000 کالا — حجم معمولی برای یک فروشنده متوسط با چندین دسته یا یک آژانس است که نظارت را برای 5-10 مشتری به طور همزمان انجام می‌دهد. برای چنین مقیاسی نیاز به اتوماسیون است: اسکریپت یا سرویس آماده تجزیه و تحلیل که به صفحات کالاها، صفحات دسته‌بندی و API بازارها ده‌ها هزار بار در روز مراجعه می‌کند. و در اینجا سوال اصلی مطرح می‌شود — از چه طریقی باید این درخواست‌ها را ارسال کنیم تا در ساعت دوم کار IP ما مسدود نشود.
Wildberries، Ozon و Avito به شدت در برابر تجزیه و تحلیل محافظت می‌کنند: کپچا می‌گذارند، سرعت پاسخ را کاهش می‌دهند و IP دیتاسنترها را به صورت دسته‌ای مسدود می‌کنند. بنابراین، بودجه برای نظارت فقط شامل پرداخت برای سرورها و توسعه نیست، بلکه یک مورد جداگانه برای هزینه‌های پروکسی نیز هست که اغلب غیرقابل پیش‌بینی است، اگر آن را «به چشم» محاسبه کنیم.
چند درخواست واقعاً در ماه نیاز است
اولین قدم در محاسبه بودجه — درک این است که شما به طور فیزیکی چند درخواست HTTP باید انجام دهید. این بستگی به فراوانی به‌روزرسانی قیمت‌هایی دارد که شما در استراتژی نظارت خود لحاظ می‌کنید.
| فراوانی به‌روزرسانی | درخواست‌ها برای 1 کالا در ماه | درخواست‌ها برای 10,000 کالا |
|---|---|---|
| 1 بار در روز | 30 | 300,000 |
| 4 بار در روز | 120 | 1,200,000 |
| هر ساعت (24 بار در روز) | 720 | 7,200,000 |
برای اکثر فروشندگان در Wildberries و Ozon، 4-6 به‌روزرسانی در روز کافی است — این به جنگ‌های قیمت صبحگاهی و شبانه بدون بار اضافی بر روی مجموعه پروکسی پاسخ می‌دهد. نظارت هر ساعته فقط در نیش‌های با رقابت بالا (الکترونیک، لوازم آرایشی) در زمان تخفیف‌های بزرگ مانند «جمعه سیاه» نیاز است.
فرمول محاسبه ترافیک
ترافیکی که «وزن» پروکسی را تعیین می‌کند، نه تنها به تعداد درخواست‌ها بستگی دارد، بلکه به این که شما چه چیزی را تجزیه و تحلیل می‌کنید نیز بستگی دارد: کارت کالا به طور کامل (صفحه HTML با تصاویر و اسکریپت‌ها) یا فقط پاسخ JSON API بازار.
فرمول:
ترافیک (GB) = تعداد درخواست‌ها × وزن متوسط پاسخ (KB) / 1,048,576
وزن متوسط پاسخ به شدت بسته به روش متفاوت است:
- درخواست به API کارت کالا (JSON) — 15-60 KB در پاسخ
- صفحه HTML کامل کارت کالا — 300-900 KB در پاسخ
- صفحه دسته‌بندی/جستجو با صفحه‌بندی — 500-1500 KB در پاسخ
اگر شما به طور مستقیم از طریق API داخلی بازارها تجزیه و تحلیل می‌کنید (که ترجیح داده می‌شود — وزن کمتر، سرعت بیشتر، خطر کپچا کمتر)، برای 10,000 کالا با 4 به‌روزرسانی در روز، 1,200,000 درخواست × 40 KB ≈ 45.8 GB ترافیک در ماه به دست می‌آید. اگر صفحات HTML کامل را تجزیه و تحلیل کنید، همان حجم درخواست‌ها «وزن» 600-900 GB خواهد داشت — تفاوت 15-20 برابر فقط به دلیل روش جمع‌آوری داده‌ها.
پروکسی‌های دیتاسنتر، مقیم و موبایل: چه چیزی را انتخاب کنیم
نوع پروکسی به طور مستقیم بر هزینه و درصد موفقیت درخواست‌ها (نرخ موفقیت) تأثیر می‌گذارد. برای نظارت بر بازارها، این موضوع حیاتی است: هر چه پروکسی بیشتر مسدود شود، تعداد تلاش‌های تکراری بیشتر و در نتیجه مصرف واقعی ترافیک فراتر از فرمول محاسباتی بالاتر می‌رود.
| نوع پروکسی | نرخ موفقیت در WB/Ozon | کی استفاده کنیم |
|---|---|---|
| پروکسی‌های دیتاسنتر | 40-60% (به راحتی به صورت دسته‌ای مسدود می‌شوند) | نظارت با فرکانس پایین، آزمایش‌های تست، کاتالوگ‌های کوچک |
| پروکسی‌های مقیم | 85-95% | گزینه اصلی برای 10,000+ کالا، نظارت روزانه |
| پروکسی‌های موبایل | 90-98% | نظارت با فرکانس بالا در نیش‌های سخت، دور زدن حفاظت‌های شدید |
پروکسی‌های دیتاسنتر از نظر قیمت به نظر مقرون به صرفه می‌آیند، اما در عمل برای Wildberries و Ozon نرخ موفقیت آن‌ها بعد از چند ساعت تجزیه و تحلیل فعال کاهش می‌یابد — بازارها دامنه‌های IP آدرس‌های ارائه‌دهندگان هاستینگ را شناسایی کرده و دسترسی را به صورت دسته‌ای قطع می‌کنند. در نهایت، شما برای ترافیکی که صرف تلاش‌های تکراری می‌شود پرداخت می‌کنید، نه برای درخواست‌های واقعی موفق.
پروکسی‌های مقیم از IPهای واقعی کاربران خانگی استفاده می‌کنند، بنابراین توسط بازار به عنوان بازدیدکننده عادی سایت در نظر گرفته می‌شوند. برای نظارت پایدار بر 10,000 کالا، این بهترین تعادل بین قیمت و قابلیت اطمینان است. پروکسی‌های موبایل نرخ موفقیت بالاتری را ارائه می‌دهند، اما معمولاً گران‌تر هستند — بهتر است آن‌ها را به صورت نقطه‌ای برای دسته‌های مشکل‌دار یا در دوره‌های اوج تخفیف‌ها متصل کنید.
سه سناریوی محاسبه بودجه
بیایید سه سناریوی معمولی نظارت بر 10,000 کالا را بررسی کنیم تا نشان دهیم که چگونه روش جمع‌آوری و فراوانی به‌روزرسانی بر حجم نهایی ترافیک تأثیر می‌گذارد.
سناریو 1: نظارت صرفه‌جویانه از طریق API
4 به‌روزرسانی در روز، تجزیه و تحلیل از طریق API داخلی بازار (JSON، ~40 KB در پاسخ)، پروکسی‌های مقیم با نرخ موفقیت 90%.
- درخواست‌های پایه: 1,200,000 در ماه
- با احتساب 10% تلاش‌های تکراری: 1,320,000 درخواست
- ترافیک: 1,320,000 × 40 KB ≈ 50.4 GB در ماه
سناریو 2: بار متوسط با جمع‌آوری صفحات HTML
6 به‌روزرسانی در روز، تجزیه و تحلیل کارت‌های کامل کالا (HTML، ~500 KB در پاسخ) برای دریافت نه تنها قیمت، بلکه موجودی، نظرات و موقعیت در جستجو.
- درخواست‌های پایه: 1,800,000 در ماه
- با احتساب تلاش‌های تکراری (15%): 2,070,000 درخواست
- ترافیک: 2,070,000 × 500 KB ≈ 987 GB در ماه
سناریو 3: نظارت با فرکانس بالا در فصل اوج
به‌روزرسانی هر ساعت (24 بار در روز) از طریق API، علاوه بر این تجزیه و تحلیل صفحات دسته‌بندی برای پیگیری موقعیت‌ها در نتایج، پروکسی‌های موبایل برای دسته‌های مشکل‌دار.
- درخواست‌ها به کالاها: 7,200,000 در ماه (با 40 KB)
- درخواست‌ها به صفحات دسته‌بندی: 300,000 در ماه (با 800 KB)
- ترافیک: (7,200,000 × 40 KB) + (300,000 × 800 KB) ≈ 274.7 + 228.9 ≈ 503.6 GB در ماه
تفاوت بین سناریوها به وضوح نشان می‌دهد: روش جمع‌آوری داده‌ها بیشتر از فراوانی به‌روزرسانی بر بودجه تأثیر می‌گذارد. انتقال از تجزیه و تحلیل HTML به کار از طریق API می‌تواند مصرف ترافیک را در 10-20 برابر در همان حجم کالا و همان فراوانی بررسی کاهش دهد.
چگونه مصرف ترافیک را بدون از دست دادن داده‌ها کاهش دهیم
چندین روش عملی وجود دارد که به شما اجازه می‌دهد بودجه نظارت را تحت کنترل نگه دارید بدون از دست دادن به‌روزرسانی داده‌ها.
- API را تجزیه و تحلیل کنید، نه HTML. اگر بازار داده‌ها را از طریق API داخلی ارائه می‌دهد (این را می‌توان با تجزیه و تحلیل درخواست‌های شبکه در مرورگر هنگام باز کردن کارت کالا شناسایی کرد)، از آن استفاده کنید — وزن پاسخ 10-20 برابر کاهش می‌یابد.
- کالاها را بر اساس اولویت تقسیم کنید. همه 10,000 SKU به یک اندازه مهم نیستند. کالاهای پیشرو با رقابت بالا را هر ساعت نظارت کنید، بقیه را 1-2 بار در روز. این مصرف کلی درخواست‌ها را 40-60% کاهش می‌دهد.
- داده‌های ثابت را کش کنید. نام، توضیحات، ویژگی‌های کالا به ندرت تغییر می‌کنند — کافی است آن‌ها را یک بار در هفته جمع‌آوری کنید. فقط قیمت و موجودی باید هر ساعت به‌روزرسانی شوند.
- چرخش پروکسی را به طور معقول تنظیم کنید. تغییر IP به طور مکرر برای هر درخواست تعداد کپچا و تلاش‌های تکراری را افزایش می‌دهد. چرخش هر 5-10 درخواست از یک IP معمولاً تعادل بهتری بین ناشناسی و نرخ موفقیت ارائه می‌دهد.
-
ترافیک را از طریق gzip فشرده کنید. اطمینان حاصل کنید که اسکریپت یا سرویس تجزیه و تحلیل شما
هدر
Accept-Encoding: gzipرا ارسال می‌کند — این وزن پاسخ‌های JSON را 60-70% کاهش می‌دهد.
اشتباهات رایج در محاسبه بودجه
هنگام برنامه‌ریزی بودجه برای نظارت بر 10,000 کالا، فروشندگان به طور مرتب همان اشتباهات را مرتکب می‌شوند که منجر به مصرف اضافی یا برعکس، کمبود ترافیک در اوج ماه می‌شود.
- تلاش‌های تکراری را در نظر نمی‌گیرند. هنگام کار با پروکسی‌های دیتاسنتر، 40-50% درخواست‌ها ممکن است با کپچا یا مسدود شدن به پایان برسند — مصرف واقعی ترافیک 1.5-2 برابر بیشتر از محاسباتی است.
- همه چیز را با یک فراوانی نظارت می‌کنند. اگر 10,000 کالا هر ساعت «به هر دلیلی» به‌روزرسانی شوند، بودجه به شدت افزایش می‌یابد بدون اینکه واقعاً برای کسب و کار مفید باشد.
- فصل‌گرایی را فراموش می‌کنند. در دوره‌های تخفیف (11.11، «جمعه سیاه»، سال نو) رقباء قیمت‌ها را بیشتر تغییر می‌دهند و در نتیجه تعداد درخواست‌های تکراری شما به دلیل حفاظت‌های سخت‌تر بازارها از تجزیه و تحلیل افزایش می‌یابد.
- فقط بر اساس فرمول، بدون ذخیره، ترافیک را محاسبه می‌کنند. منطقی است که 20-30% ذخیره ترافیک بالای حجم محاسباتی برای مواردی مانند تغییر ساختار صفحات بازار یا افزایش موقت کپچا در نظر گرفته شود.
چک‌لیست قبل از راه‌اندازی نظارت
- فراوانی به‌روزرسانی قیمت‌ها را برای گروه‌های مختلف کالا (VIP / معمولی / اولویت پایین) تعیین کرده‌اند
- بررسی کردند که آیا می‌توان از طریق API بازار به جای صفحات HTML تجزیه و تحلیل کرد
- حجم پایه ترافیک را بر اساس فرمول «درخواست‌ها × وزن پاسخ» محاسبه کردند
- 20-30% ذخیره برای تلاش‌های تکراری و کپچا اضافه کردند
- نوع پروکسی را برای وظیفه انتخاب کردند: مقیم برای حجم اصلی، موبایل — برای دسته‌های مشکل‌دار
- چرخش معقول IP را تنظیم کردند (نه برای هر درخواست، بلکه هر 5-10 درخواست)
- فشرده‌سازی gzip را در درخواست‌ها برای کاهش وزن پاسخ‌ها فعال کردند
- بودجه اضافی برای دوره‌های اوج تخفیف‌ها و حراج‌ها در نظر گرفتند
نتیجه‌گیری
بودجه برای نظارت بر 10,000 کالا در ماه — یک عدد ثابت نیست، بلکه نتیجه تصمیمات خاص است: چه زمانی قیمت‌ها را به‌روزرسانی کنیم، از چه طریقی داده‌ها را تجزیه و تحلیل کنیم و چه نوع پروکسی استفاده کنیم. محاسبه صحیح ترافیک بر اساس فرمول «تعداد درخواست‌ها × وزن پاسخ» با در نظر گرفتن ذخیره برای تلاش‌های تکراری به شما اجازه می‌دهد تا هزینه واقعی نظارت را از قبل درک کنید و از سورپرایزهای ناخوشایند در وسط ماه جلوگیری کنید.
برای نظارت پایدار بر Wildberries، Ozon و Avito در حجم متوسط و بزرگ، توصیه می‌کنیم با پروکسی‌های مقیم شروع کنید — آن‌ها نرخ موفقیت بالایی را با هزینه ترافیک قابل قبول ارائه می‌دهند. اگر دسته‌های خاصی از کالاها تحت حفاظت شدید بازار قرار بگیرند، به صورت نقطه‌ای پروکسی‌های موبایل را برای آن‌ها متصل کنید، نه برای کل کاتالوگ به طور همزمان — این به شما اجازه می‌دهد تا بودجه را بدون از دست دادن کیفیت داده‌ها کنترل کنید.