مقیاس‌پذیری خودکار استخر پروکسی: چگونه IP را تحت بار افزایش دهیم و بودجه را صرفه‌جویی کنیم

هنگام کار با حجم بالای وظایف — پارسینگ بازارها، فارم حساب‌ها، پست‌گذاری انبوه در شبکه‌های اجتماعی — استخر پروکسی ثابت به سرعت به مشکل تبدیل می‌شود. شما یا برای IPهای استفاده‌نشده در دوره‌های بار کم بیش از حد پرداخت می‌کنید، یا در زمان‌های اوج با مسدودیت‌ها مواجه می‌شوید. مقیاس‌گذاری خودکار استخر پروکسی هر دو مشکل را حل می‌کند: سیستم به طور خودکار تعداد آدرس‌های IP را تحت بار فعلی افزایش می‌دهد و زمانی که وظایف کمتر می‌شود، آنها را کاهش می‌دهد.

در این مقاله بررسی می‌کنیم که چگونه مقیاس‌گذاری خودکار را برای سناریوهای مختلف تنظیم کنیم: پارسینگ، آربیتراژ ترافیک، چندحسابی در شبکه‌های اجتماعی و کار با بازارها. ابزارهای خاص، الگوریتم‌های توزیع بار و معیارهای نظارت را نشان خواهیم داد.

مقیاس‌گذاری استخر پروکسی چیست و چرا به آن نیاز داریم

مقیاس‌گذاری استخر پروکسی — تغییر خودکار تعداد آدرس‌های IP فعال بسته به بار فعلی است. به زبان ساده: وقتی وظایف زیاد است، سیستم پروکسی‌ها را اضافه می‌کند و وقتی کم است — پروکسی‌های اضافی را خاموش می‌کند تا برای زمان بیکاری پولی پرداخت نکنید.

مثال کلاسیک: شما قیمت‌ها را در Wildberries پارس می‌کنید. در روزهای عادی به 50 آدرس IP برای 10,000 درخواست در ساعت نیاز دارید. اما در شب‌های جمعه و آخر هفته، بازار محدودیت‌ها را سخت‌تر می‌کند و شروع به مسدود کردن درخواست‌های تکراری از یک IP می‌کند. بدون مقیاس‌گذاری، یا باید از قبل 150 پروکسی "به هر دلیلی" خریداری کنید (پرداخت اضافی 200% در روزهای کاری) یا در ساعات اوج با مسدودیت‌ها مواجه می‌شوید.

با مقیاس‌گذاری خودکار، سیستم درصد خطاهای 429 (بیش از حد درخواست) و کپچا را زیر نظر دارد. به محض اینکه این درصد از 5% فراتر برود — 20-30 IP اضافه می‌کند. وقتی بار کاهش می‌یابد — پروکسی‌های اضافی را خاموش می‌کند. نتیجه: شما فقط برای پروکسی‌های واقعاً استفاده‌شده پول می‌پردازید و داده‌هایتان را به دلیل مسدودیت‌ها از دست نمی‌دهید.

مزایای اصلی مقیاس‌گذاری خودکار

• صرفه‌جویی 40-60% در بودجه — فقط برای IPهای فعال استفاده‌شده پرداخت می‌کنید، نه برای استخر ثابت "به حداکثر"
• محافظت در برابر مسدودیت‌ها — سیستم به سرعت به افزایش خطاها واکنش نشان می‌دهد و پروکسی‌ها را تا قبل از بروز مسدودیت‌های انبوه اضافه می‌کند
• سرعت کار پایدار — بار به طور یکنواخت توزیع می‌شود، در ساعات اوج افتی وجود ندارد
• انعطاف‌پذیری برای وظایف — می‌توان قوانین مختلف مقیاس‌گذاری را برای پارسینگ، فارم حساب‌ها، تبلیغات تنظیم کرد

کی به مقیاس‌گذاری خودکار نیاز داریم: 5 سناریو

مقیاس‌گذاری استخر پروکسی همیشه ضروری نیست. اگر شما 5 حساب اینستاگرام مدیریت می‌کنید یا 100 کالا در روز پارس می‌کنید — استخر ثابت از 10-20 پروکسی کافی است. اما برخی وظایف وجود دارند که بدون مدیریت خودکار استخر نمی‌توان از عهده آنها برآمد.

1. پارسینگ بازارها با بار متغیر

وضعیت معمول برای نظارت بر قیمت‌ها در Wildberries، Ozon، یاندکس.مارکت. در ساعات عادی (از 3:00 تا 10:00 صبح) بازارها به آرامی داده‌ها را ارائه می‌دهند، محدودیت‌ها نرم هستند. در ساعات اوج (از 18:00 تا 23:00) محدودیت‌های سخت آغاز می‌شود: کپچا پس از 3-5 درخواست از یک IP، مسدودیت‌های زیرشبکه، تأخیر در پاسخ‌ها.

مثال: شما 50,000 کالا در روز پارس می‌کنید. در شب به 30 IP برای 2000 درخواست در ساعت از هر کدام نیاز دارید. در شب، همان حجم به 100-120 IP نیاز دارد، زیرا محدودیت به 500-700 درخواست از IP کاهش می‌یابد. استخر ثابت از 120 پروکسی به صورت 24 ساعته کار می‌کند — پرداخت اضافی 75% در ساعات شب. مقیاس‌گذاری به طور خودکار استخر را از 18:00 تا 23:00 به 120 IP افزایش می‌دهد و در بقیه زمان 30-40 نگه می‌دارد.

2. فارم حساب‌های تبلیغاتی Facebook Ads و TikTok Ads

آربیتراژکنندگان به طور انبوه حساب‌ها را در پنل‌های تبلیغاتی ایجاد و گرم می‌کنند. وظیفه: در یک هفته 50 حساب Facebook را از صفر به راه‌اندازی اولین کمپین برسانید. هر حساب به یک IP جداگانه نیاز دارد (در غیر این صورت مسدودیت زنجیره‌ای همه پروفایل‌ها را به هم متصل می‌کند).

اما حساب‌ها به طور نامنظم فارم می‌شوند: در دو روز اول 50 پروفایل فعال هستند (به 50 پروکسی نیاز است)، در روزهای 3-4 بخشی از حساب‌ها به "استراحت" می‌روند (20-30 IP برای فعال‌ها کافی است)، در روزهای 5-7 دوباره اوج فعالیت قبل از راه‌اندازی کمپین‌ها (دوباره 50 IP). با مقیاس‌گذاری، سیستم فقط پروکسی‌ها را برای حساب‌های فعال متصل می‌کند، صرفه‌جویی تا 50% در یک هفته.

3. پست‌گذاری انبوه در اینستاگرام و TikTok از طریق پنل‌های SMM

آژانس‌های SMM 50-200 حساب مشتریان را مدیریت می‌کنند. پست‌گذاری طبق برنامه انجام می‌شود: صبح (9:00-11:00) استوری‌ها منتشر می‌شوند، بعد از ظهر (14:00-16:00) — پست‌ها در فید، شب (19:00-21:00) — reels و نظرات. در بقیه زمان حساب‌ها بیکار هستند.

هر حساب به یک پروکسی موبایل جداگانه نیاز دارد (اینستاگرام به شدت به دلیل تغییر IP مسدود می‌کند). استخر ثابت از 200 پروکسی موبایل 4000-6000 دلار در ماه هزینه دارد. با مقیاس‌گذاری می‌توان استخر پایه‌ای از 50 IP برای حساب‌های فعال دائمی نگه داشت و در ساعات پست‌گذاری انبوه 100-150 پروکسی دیگر برای 2-3 ساعت خریداری کرد. صرفه‌جویی: تا 2000 دلار در ماه.

4. اتوماسیون اقدامات در شبکه‌های اجتماعی (لایک‌ها، دنبال کردن‌ها، نظرات)

ترویج از طریق فالوینگ انبوه، لایک‌کردن انبوه در اینستاگرام، VK، TikTok. وظیفه: 100 حساب هر کدام 200-300 اقدام در روز انجام می‌دهند (دنبال کردن، لایک). شبکه‌های اجتماعی فعالیت را بر اساس زمان زیر نظر دارند: اگر همه 100 حساب به طور همزمان شروع به لایک کردن کنند — این یک پرچم قرمز برای ضدفرود است.

استراتژی صحیح: فعالیت را در 12-16 ساعت توزیع کنید، در هر لحظه 20-30 حساب فعال هستند. مقیاس‌گذاری فقط پروکسی‌ها را برای پروفایل‌های فعال متصل می‌کند. به جای 100 IP دائمی، استخر 30-40 کافی است که بین حساب‌ها چرخش می‌کند.

5. تست تبلیغاتی خلاقانه از مکان‌های جغرافیایی مختلف

آربیتراژکنندگان و بازاریابان تست می‌کنند که تبلیغات در Facebook Ads، Google Ads، یاندکس.دیرکت از کشورهای مختلف و شهرها چگونه به نظر می‌رسد. وظیفه: 50 ترکیب (10 خلاقانه × 5 مکان) را در 2 ساعت قبل از راه‌اندازی کمپین بررسی کنید.

به پروکسی‌هایی از مکان‌های خاص نیاز دارید: ایالات متحده (5 ایالت)، آلمان (3 شهر)، لهستان، قزاقستان، اوکراین. نگه‌داشتن 50 IP از مکان‌های مختلف به طور دائمی مقرون به صرفه نیست — آنها فقط 2-3 بار در هفته برای چند ساعت نیاز هستند. با مقیاس‌گذاری می‌توان پروکسی‌ها را برای یک ساعت اجاره کرد، خلاقیت‌ها را تست کرد و خاموش کرد. صرفه‌جویی: به جای 1500 دلار در ماه برای استخر دائمی — 200-300 دلار برای جلسات یک‌بار مصرف.

انواع مقیاس‌گذاری: عمودی در مقابل افقی

دو رویکرد برای مقیاس‌گذاری استخر پروکسی وجود دارد. انتخاب بستگی به نوع وظیفه، بودجه و الزامات سرعت دارد.

مقیاس‌گذاری عمودی (افزایش محدودیت‌ها بر روی IP)

شما IPهای جدید اضافه نمی‌کنید، بلکه تعداد درخواست‌ها را از طریق پروکسی‌های موجود افزایش می‌دهید. به عنوان مثال، به جای 1000 درخواست در ساعت از یک IP، 2000 درخواست می‌کنید، با استفاده از چرخش سشن‌های تهاجمی‌تر یا تغییر user-agent.

کی مناسب است: پارسینگ سایت‌ها با محدودیت‌های نرم (پورتال‌های خبری، فروم‌ها، APIهای باز)، جایی که مسدودیت‌ها نادر هستند. شما در تعداد پروکسی‌ها صرفه‌جویی می‌کنید، اما در معرض خطر مسدودیت به دلیل تجاوز از بار معقول هستید.

مزایا: نیازی به خرید IP جدید نیست، مدیریت استخر آسان‌تر است، هزینه‌ها برای پروکسی‌ها کمتر است.

معایب: خطر بالای مسدودیت‌ها در پلتفرم‌های ضدفرود (شبکه‌های اجتماعی، بازارها، پنل‌های تبلیغاتی). برای وظایفی که هر حساب به یک IP منحصر به فرد نیاز دارد، مناسب نیست.

مقیاس‌گذاری افقی (اضافه کردن IPهای جدید)

شما تعداد پروکسی‌ها در استخر را افزایش می‌دهید: از 50 IP به 100 IP. بار به طور یکنواخت توزیع می‌شود و هر آدرس در محدودیت‌های ایمن کار می‌کند.

کی مناسب است: چندحسابی در شبکه‌های اجتماعی (هر حساب — IP خود)، فارم حساب‌های تبلیغاتی، پارسینگ بازارها با محدودیت‌های سخت، کار با مرورگرهای ضدشناسایی (Dolphin Anty، AdsPower، Multilogin).

مزایا: حداقل خطر مسدودیت‌ها، کار پایدار، مناسب برای وظایف بلندمدت (مدیریت حساب‌ها برای ماه‌ها).

معایب: هزینه‌های بالاتر برای پروکسی‌ها، تنظیم خودکار مدیریت استخر دشوارتر است.

برای اکثر وظایف مرتبط با شبکه‌های اجتماعی، پنل‌های تبلیغاتی و بازارها، مقیاس‌گذاری افقی بهینه است. مقیاس‌گذاری عمودی تنها برای پارسینگ منابع باز با محدودیت‌های حداقلی معقول است.

معیارها برای مقیاس‌گذاری: چه چیزی را زیر نظر داشته باشیم

برای اینکه سیستم به طور خودکار تصمیم بگیرد که پروکسی‌ها را اضافه یا خاموش کند، باید نظارت بر معیارهای کلیدی تنظیم شود. بررسی می‌کنیم که کدام شاخص‌ها برای وظایف مختلف حیاتی هستند.

1. درصد خطاها (Error Rate)

مهم‌ترین معیار. نسبت درخواست‌های موفق به کل تعداد را زیر نظر داشته باشید. کدهای خطای بحرانی: 429 (بیش از حد درخواست)، 403 (ممنوع)، 503 (سرویس در دسترس نیست)، همچنین تایم‌اوت‌ها و کپچاها.

مقادیر نرمال: برای پارسینگ — تا 2-3% خطا، برای کار با حساب‌ها در شبکه‌های اجتماعی — تا 1%. اگر این شاخص از آستانه فراتر برود، سیستم باید 20-30% پروکسی به استخر فعلی اضافه کند.

مثال: شما Wildberries را پارس می‌کنید، در استخر 50 IP دارید. 5000 درخواست در ساعت انجام می‌دهید که از این تعداد 200 خطای 429 برمی‌گرداند (4% Error Rate). تریگر مقیاس‌گذاری: اضافه کردن 15 پروکسی برای کاهش بار بر روی هر IP از 100 به 77 درخواست در ساعت.

2. زمان پاسخ (Response Time)

وقتی سرور تحت بار درخواست‌ها از IP شما قرار می‌گیرد، شروع به پاسخ‌دهی کندتر می‌کند یا درخواست‌ها را در صف قرار می‌دهد. اگر زمان پاسخ متوسط 30-50% از زمان پایه افزایش یابد — این یک سیگنال برای مقیاس‌گذاری است.

مثال: معمولاً Ozon در 300-500 میلی‌ثانیه پاسخ می‌دهد. در ساعات اوج، زمان پاسخ به 1200-1500 میلی‌ثانیه افزایش یافته است. این به این معنی است که بازار درخواست‌های شما را محدود می‌کند. راه‌حل: اضافه کردن پروکسی برای کاهش فرکانس درخواست‌ها از هر IP.

3. تعداد کپچاها (CAPTCHA Rate)

این معیار برای پارسینگ بازارها، موتورهای جستجو و شبکه‌های اجتماعی حیاتی است. اگر بیش از 5% درخواست‌ها کپچا برگردانند — استخر تحت بار است.

مثال: شما Google Shopping را پارس می‌کنید، از 1000 درخواست 80 کپچا reCAPTCHA (8%) برمی‌گرداند. سیستم به طور خودکار 20 IP اضافه می‌کند تا نرخ کپچا را به 2-3% کاهش دهد.

4. استفاده از پروکسی (Proxy Utilization)

درصد پروکسی‌های فعال را نشان می‌دهد. اگر استفاده کمتر از 40% باشد — شما برای IPهای اضافی بیش از حد پرداخت می‌کنید. اگر بیشتر از 85% باشد — استخر در حداکثر ظرفیت کار می‌کند، خطر بالای مسدودیت وجود دارد.

استفاده بهینه: 60-75%. این تعادل بین صرفه‌جویی و ثبات است.

مثال: در استخر 100 پروکسی، 35 پروکسی به طور فعال کار می‌کنند (استفاده 35%). سیستم 30 IP غیر استفاده را خاموش می‌کند و 70 را نگه می‌دارد. صرفه‌جویی: 30% از بودجه پروکسی.

5. تعداد وظایف فعال (Task Queue Length)

اگر تعداد وظایف در صف بیشتر از آن باشد که سیستم بتواند با استخر فعلی پردازش کند — نیاز به مقیاس‌گذاری است. طول صف و زمان انتظار متوسط را زیر نظر داشته باشید.

مثال: شما 10,000 کالا را پارس می‌کنید. در صف 3000 وظیفه وجود دارد، استخر فعلی از 40 IP 500 وظیفه در ساعت پردازش می‌کند. زمان اجرای تمام وظایف: 6 ساعت. اگر 20 IP اضافه کنید، زمان به 4 ساعت کاهش می‌یابد.

الگوریتم‌های مقیاس‌گذاری خودکار

چندین رویکرد برای مدیریت خودکار اندازه استخر پروکسی وجود دارد. انتخاب الگوریتم بستگی به پیش‌بینی‌پذیری بار و الزامات سرعت واکنش دارد.

1. مقیاس‌گذاری واکنشی (Reactive Scaling)

سیستم به معیارهای فعلی واکنش نشان می‌دهد: اگر Error Rate از آستانه فراتر برود — پروکسی اضافه می‌کند، اگر استفاده کاهش یابد — پروکسی‌های اضافی را خاموش می‌کند. ساده‌ترین و محبوب‌ترین رویکرد.

الگوریتم: هر 5-10 دقیقه سیستم معیارها را بررسی می‌کند. اگر حداقل یک شاخص از حد نرمال فراتر رفت — تصمیم به مقیاس‌گذاری می‌گیرد.

مزایا: سادگی تنظیم، نیازی به داده‌های تاریخی ندارد، از جعبه کار می‌کند.

معایب: با تأخیر واکنش نشان می‌دهد (5-10 دقیقه)، بارهای اوج را به طور پیش‌بینی نمی‌کند. اگر بار به طور ناگهانی افزایش یابد — شما مسدودیت‌ها را دریافت خواهید کرد تا سیستم پروکسی‌ها را اضافه کند.

کی استفاده شود: پارسینگ با بار نسبتاً پایدار، زمانی که اوج‌ها از نظر زمانی پیش‌بینی‌پذیر هستند (به عنوان مثال، پارسینگ روزانه در ساعات مشابه).

2. مقیاس‌گذاری پیشگیرانه (Proactive Scaling)

سیستم داده‌های تاریخی را تجزیه و تحلیل می‌کند و پیش‌بینی می‌کند که چه زمانی بار افزایش می‌یابد. پروکسی‌ها به طور پیشگیرانه اضافه می‌شوند، قبل از بروز مشکلات.

الگوریتم: بر اساس داده‌های 7-30 روز گذشته، سیستم نمودار بار را بر اساس ساعت‌ها و روزهای هفته ترسیم می‌کند. به عنوان مثال، هر جمعه از 18:00 تا 23:00 Error Rate از 2% به 8% افزایش می‌یابد. سیستم به طور خودکار پروکسی‌ها را در جمعه ساعت 17:45 اضافه می‌کند تا از افزایش خطاها جلوگیری کند.

مزایا: تأخیر در واکنش وجود ندارد، مسدودیت‌ها قبل از بروز آنها پیشگیری می‌شوند، استفاده بهینه از پروکسی‌ها.

معایب: نیاز به جمع‌آوری آمار (حداقل 2-4 هفته)، در برابر نوسانات غیرقابل پیش‌بینی بارها کارایی ندارد.

کی استفاده شود: وظایفی با الگوهای تکراری بار (پارسینگ بازارها، نظارت بر قیمت‌ها، پست‌گذاری منظم در شبکه‌های اجتماعی).

3. مقیاس‌گذاری ترکیبی (Hybrid Scaling)

ترکیبی از رویکردهای واکنشی و پیشگیرانه. سیستم از داده‌های تاریخی برای برنامه‌ریزی استفاده می‌کند، اما همچنین به سرعت به ناهنجاری‌ها واکنش نشان می‌دهد.

الگوریتم: مقیاس‌گذاری اصلی بر اساس پیش‌بینی (بر اساس آمار) انجام می‌شود. اما اگر معیارها به طور ناگهانی از حد نرمال فراتر بروند — سیستم به طور اضطراری پروکسی‌ها را اضافه می‌کند، بدون اینکه منتظر زمان برنامه‌ریزی شده باشد.

مثال: معمولاً در روزهای دوشنبه از 10:00 تا 12:00 بار پایدار است، سیستم 50 IP را نگه می‌دارد. اما در این دوشنبه، Wildberries ضدفرود را به‌روزرسانی کرد و Error Rate به 12% افزایش یافت. الگوریتم ترکیبی به سرعت 30 پروکسی اضافه می‌کند، هرچند که طبق برنامه‌ریزی نیازی به مقیاس‌گذاری نبود.

مزایا: حداکثر ثبات، محافظت در برابر وضعیت‌های غیرقابل پیش‌بینی، صرفه‌جویی بهینه.

معایب: تنظیم آن دشوارتر است و به منابع محاسباتی بیشتری برای تجزیه و تحلیل داده‌ها نیاز دارد.

کی استفاده شود: وظایف بحرانی که در آن مسدودیت‌ها غیرقابل قبول هستند (فارم حساب‌های تبلیغاتی گران‌قیمت، مدیریت مشتریان VIP در آژانس SMM).

4. مقیاس‌گذاری بر اساس زمان‌بندی (Scheduled Scaling)

ساده‌ترین گزینه: شما به صورت دستی قوانین را تعیین می‌کنید که چه زمانی پروکسی‌ها را اضافه یا خاموش کنید. به عنوان مثال: از دوشنبه تا جمعه از 9:00 تا 18:00 100 IP را نگه دارید، در بقیه زمان — 30 IP.

مزایا: حداکثر سادگی، نیازی به نظارت بر معیارها ندارد، برای وظایفی با زمان‌بندی مشخص مناسب است.

معایب: عدم انعطاف‌پذیری، پرداخت اضافی در دوره‌های بار کم، خطر مسدودیت در زمان‌های اوج ناگهانی.

کی استفاده شود: تست خلاقیت‌های تبلیغاتی (پروکسی‌ها فقط در زمان راه‌اندازی کمپین‌ها نیاز هستند)، وظایف یک‌بار مصرف پارسینگ.

ابزارها برای پیاده‌سازی: راه‌حل‌های آماده و API

برای مقیاس‌گذاری خودکار استخر پروکسی می‌توان از پلتفرم‌های آماده و همچنین اسکریپت‌های خودتان از طریق API ارائه‌دهندگان استفاده کرد. هر دو گزینه را بررسی می‌کنیم.

پلتفرم‌های آماده با مقیاس‌گذاری خودکار

برخی خدمات ابزارهای داخلی برای مدیریت استخر پروکسی ارائه می‌دهند:

1. Bright Data (Luminati) — در تعرفه‌های Enterprise قابلیت Auto-Scaling وجود دارد. سیستم به طور خودکار استخر را در صورت افزایش بار افزایش می‌دهد، اما هزینه آن بالا است (از 500 دلار در ماه برای بسته پایه).

2. Smartproxy — API برای مدیریت تعداد IP در زمان واقعی ارائه می‌دهد. می‌توانید اسکریپتی تنظیم کنید که از طریق API پروکسی‌ها را بر اساس معیارها اضافه یا حذف کند.

3. Oxylabs — داشبوردی با نظارت بر معیارها (Error Rate، Response Time) دارد. مقیاس‌گذاری دستی است، اما می‌توان از طریق API برای اتوماسیون یکپارچه‌سازی کرد.

معایب پلتفرم‌های آماده — هزینه بالای آنها و وابستگی به یک ارائه‌دهنده است. اگر قیمت‌ها افزایش یابد یا کیفیت کاهش یابد، انتقال به ارائه‌دهنده دیگر نیاز به بازسازی تمام زیرساخت‌ها دارد.

پیاده‌سازی مستقل از طریق API ارائه‌دهندگان

گزینه‌ای انعطاف‌پذیرتر — نوشتن اسکریپتی که معیارهای سیستم شما را زیر نظر دارد و از طریق API ارائه‌دهنده تعداد پروکسی‌ها را مدیریت می‌کند. بیشتر ارائه‌دهندگان API برای:

• دریافت لیست پروکسی‌های فعال
• اضافه کردن IPهای جدید به استخر
• خاموش کردن پروکسی‌های غیر استفاده
• تغییر مکان جغرافیایی یا نوع پروکسی

مثال منطق اسکریپت برای مقیاس‌گذاری واکنشی:

1. هر 5 دقیقه معیارها را بررسی کن (Error Rate، CAPTCHA Rate، Response Time)
2. اگر Error Rate > 3%:
   - محاسبه کن که چند پروکسی باید اضافه شود (20-30% از استخر فعلی)
   - درخواست به API ارائه‌دهنده ارسال کن: اضافه کردن N پروکسی
   - پیکربندی پارسر را با لیست جدید IP به‌روزرسانی کن
3. اگر استفاده از پروکسی < 40%:
   - پروکسی‌های غیر استفاده را شناسایی کن (در 30 دقیقه گذشته هیچ درخواست نداشته‌اند)
   - درخواست به API ارسال کن: این IPها را خاموش کن
   - پیکربندی پارسر را به‌روزرسانی کن
4. تمام اقدامات را برای تحلیل کارایی ثبت کن

برای نظارت بر معیارها می‌توان از:

• Prometheus + Grafana — ابزارهای رایگان برای جمع‌آوری و تجسم معیارها. داشبوردی با نمودارهای Error Rate، Response Time، Proxy Utilization تنظیم کنید.
• Datadog — پلتفرم نظارت (از 15 دلار در ماه). یکپارچه‌سازی‌های آماده با پارسرهای محبوب دارد.
• اسکریپت‌های سفارشی — ساده‌ترین گزینه: اسکریپتی به زبان Python یا Node.js که هر 5 دقیقه معیارها را از لاگ‌های پارسر درخواست می‌کند و تصمیم به مقیاس‌گذاری می‌گیرد.

یکپارچه‌سازی با مرورگرهای ضدشناسایی

اگر شما با چندحسابی از طریق Dolphin Anty، AdsPower، Multilogin یا GoLogin کار می‌کنید، مقیاس‌گذاری پروکسی را می‌توان از طریق API این مرورگرها اتوماسیون کرد:

Dolphin Anty API — امکان ایجاد پروفایل‌های جدید با پروکسی‌های منحصر به فرد، به‌روزرسانی IP برای پروفایل‌های موجود، و تغییر انبوه پروکسی‌ها برای گروهی از حساب‌ها را فراهم می‌کند.

مثال سناریو: شما 50 حساب Facebook را فارم می‌کنید. اسکریپت زیر نظر دارد که چند حساب در حال حاضر فعال هستند. اگر 30 حساب فعال باشند — 30 پروکسی نگه می‌دارد. اگر فعالیت به 45 افزایش یابد — از طریق API Dolphin 15 پروفایل جدید با IPهای جدید اضافه می‌کند.

تنظیم مرحله به مرحله مقیاس‌گذاری برای وظایف مختلف

سناریوهای خاصی برای تنظیم مقیاس‌گذاری خودکار برای وظایف محبوب بررسی می‌کنیم.

سناریو 1: پارسینگ بازارها (Wildberries، Ozon)

وظیفه: پارس کردن 50,000 کالا به طور روزانه، به‌روزرسانی قیمت‌ها هر 6 ساعت. بار نامنظم است: در شب بازار به راحتی داده‌ها را ارائه می‌دهد، در شب‌ها مسدودیت‌ها آغاز می‌شود.

مرحله 1: استخر پایه را تعیین کنید. پارسینگ را در ساعات شب (3:00-6:00) با حداقل تعداد پروکسی آغاز کنید. زیر نظر داشته باشید که برای Error Rate < 2% به چند IP نیاز دارید. به عنوان مثال، برای 50,000 کالا 30 پروکسی مسکونی کافی است.

مرحله 2: آمار را برای یک هفته جمع‌آوری کنید. Error Rate و CAPTCHA Rate را بر اساس ساعت‌ها ثبت کنید. خواهید دید که از 18:00 تا 23:00 خطاها به 8-12% افزایش می‌یابند و کپچاها در 10% درخواست‌ها ظاهر می‌شوند.

مرحله 3: مقیاس‌گذاری پیشگیرانه را تنظیم کنید. قانونی ایجاد کنید: هر روز در 17:45 60 پروکسی اضافه کنید (در مجموع 90 IP)، در 23:15 60 پروکسی را خاموش کنید (بازگشت به 30 IP).

مرحله 4: یک تریگر واکنشی برای مواقع ناهنجاری اضافه کنید. اگر در هر زمان Error Rate از 5% فراتر رفت — به طور اضطراری 20 پروکسی اضافه کنید.

نتیجه: به جای استخر دائمی از 90 IP (هزینه 180-270 دلار در ماه) شما برای 30 IP به صورت 24 ساعته + 60 IP برای 6 ساعت در روز پرداخت می‌کنید. صرفه‌جویی: 40-50% از بودجه.

سناریو 2: فارم حساب‌های Facebook Ads

وظیفه: ایجاد و گرم کردن 100 حساب تبلیغاتی در یک ماه. هر حساب به یک IP منحصر به فرد نیاز دارد، فعالیت به طور نامنظم توزیع می‌شود.

مرحله 1: حساب‌ها را به گروه‌هایی بر اساس مراحل فارم تقسیم کنید: جدید (1-3 روز)، گرم کردن (4-10 روز)، آماده برای راه‌اندازی (11-30 روز). حساب‌های جدید به فعالیت روزانه نیاز دارند، حساب‌های آماده — 2-3 بار در هفته.

مرحله 2: مقیاس‌گذاری را بر اساس فعالیت تنظیم کنید. در هفته اول همه 100 حساب فعال هستند — به 100 پروکسی نیاز دارید. در هفته دوم 40 حساب به حالت "آماده" می‌روند (فقط به پروکسی در 3 روز در هفته نیاز دارند) — می‌توانید استخر را در روزهای کاری به 70 IP و در روزهای فعالیت حساب‌های آماده به 100 IP کاهش دهید.

مرحله 3: از API Dolphin Anty برای تغییر خودکار پروکسی‌ها استفاده کنید. اسکریپت زمان‌بندی فعالیت هر حساب را زیر نظر دارد. اگر حساب امروز کار نمی‌کند — پروکسی آن خاموش می‌شود و برای پروفایل دیگری استفاده می‌شود.

نتیجه: به جای 100 پروکسی دائمی، شما استخر 60-70 IP را نگه می‌دارید که بین حساب‌ها چرخش می‌کند. صرفه‌جویی: 30-40% از بودجه بدون خطر مسدودیت زنجیره‌ای.

سناریو 3: پست‌گذاری انبوه در اینستاگرام

وظیفه: آژانس SMM 150 حساب مشتریان را مدیریت می‌کند. پست‌گذاری طبق برنامه انجام می‌شود: 9:00-11:00 (استوری‌ها)، 14:00-16:00 (پست‌ها)، 19:00-21:00 (reels).

مرحله 1: ساعات اوج را تعیین کنید. در زمان‌های پست‌گذاری انبوه، همه 150 حساب فعال هستند، در بقیه زمان — 20-30 (پاسخ به نظرات، مرور فید).

مرحله 2: مقیاس‌گذاری را بر اساس زمان‌بندی تنظیم کنید. از 8:45 تا 11:15 استخر را به 150 IP افزایش دهید، از 11:15 تا 13:45 به 30 IP کاهش دهید، از 13:45 تا 16:15 دوباره 150 IP و همین‌طور ادامه دهید.

مرحله 3: از پروکسی‌های موبایل برای حساب‌های حساس (مشتریان VIP، پروفایل‌های تأییدشده) استفاده کنید — آنها به IP ثابت نیاز دارند. برای بقیه می‌توان از پروکسی‌های مسکونی با چرخش بر اساس زمان‌بندی استفاده کرد.

نتیجه: استخر پایه‌ای از 30 پروکسی موبایل برای حساب‌های VIP (600 دلار در ماه) + 120 پروکسی مسکونی که 9 ساعت در روز کار می‌کنند (صرفه‌جویی 60% نسبت به اجاره 24 ساعته). صرفه‌جویی کلی: 1500-2000 دلار در ماه.

بهینه‌سازی هزینه‌ها: چگونه از پرداخت بیش از حد برای پروکسی جلوگیری کنیم

مقیاس‌گذاری خودکار — نه تنها محافظت در برابر مسدودیت‌ها، بلکه ابزاری برای صرفه‌جویی است. تاکتیک‌های خاصی برای کاهش هزینه‌ها بررسی می‌کنیم.

1. ترکیب انواع پروکسی‌ها بر اساس وظایف

همه وظایف به پروکسی‌های گران‌قیمت مسکونی یا موبایل نیاز ندارند. از رویکرد ترکیبی استفاده کنید:

• پروکسی‌های مسکونی — برای وظایف حساس: فارم حساب‌ها، کار با پنل‌های تبلیغاتی، پست‌گذاری در شبکه‌های اجتماعی.
• پروکسی‌های موبایل — فقط برای حساب‌های VIP و پلتفرم‌های با ضدفرود سخت (اینستاگرام، TikTok برای پروفایل‌های تأییدشده).
• پروکسی‌های دیتاسنتر — برای پارسینگ منابع باز، نظارت بر قیمت‌ها در سایت‌های بدون ضدفرود تهاجمی.

مثال: شما Avito را پارس می‌کنید. برای جمع‌آوری آگهی‌ها از پروکسی‌های دیتاسنتر استفاده کنید (5-10 برابر ارزان‌تر از پروکسی‌های مسکونی). برای انتشار آگهی‌ها به پروکسی‌های مسکونی تغییر دهید — Avito IPها را در هنگام انتشار به شدت بررسی می‌کند.

2. خاموش کردن پروکسی‌های غیر استفاده را به طور تهاجمی تنظیم کنید

بسیاری از افراد "ذخیره" پروکسی‌ها را برای مواقع بار اوج نگه می‌دارند، اما فراموش می‌کنند که آنها را بعد از کاهش بار خاموش کنند. تنظیم کنید که IPهایی که در 30-60 دقیقه گذشته استفاده نشده‌اند، به طور خودکار خاموش شوند.

مثال: در استخر 100 پروکسی، 60 پروکسی به طور فعال کار می‌کنند. پس از 30 دقیقه بیکاری، سیستم به طور خودکار 20 IP کم‌استفاده را خاموش می‌کند. صرفه‌جویی: 20% از بودجه روزانه.

3. از اجاره ساعتی برای وظایف یک‌بار مصرف استفاده کنید

برخی ارائه‌دهندگان پرداخت بر اساس استفاده واقعی (pay-as-you-go) یا اجاره ساعتی را پیشنهاد می‌دهند. این برای:

• تست خلاقیت‌های تبلیغاتی (پروکسی‌ها برای 1-2 ساعت نیاز دارند)
• پارسینگ یک‌بار مصرف حجم بالای داده‌ها
• بررسی دسترسی به سایت از مکان‌های جغرافیایی مختلف

به جای اشتراک ماهانه برای 50 IP (150-300 دلار) می‌توانید آنها را برای 3 ساعت اجاره کنید (5-15 دلار).

4. استفاده و اصلاح استخر پایه را زیر نظر داشته باشید

هر هفته آمار استفاده از پروکسی‌ها را تجزیه و تحلیل کنید. اگر استفاده متوسط به طور مداوم کمتر از 50% باشد — استخر پایه را 20-30% کاهش دهید.

مثال: شما استخر پایه‌ای از 80 IP دارید، استفاده متوسط 35% است. استخر پایه را به 50 IP کاهش دهید، مقیاس‌گذاری را برای 80-100 در ساعات اوج تنظیم کنید. صرفه‌جویی: 30-40 دلار در ماه.

اشتباهات رایج در مقیاس‌گذاری و چگونه از آنها جلوگیری کنیم

حتی مقیاس‌گذاری به درستی تنظیم شده نیز می‌تواند به دلیل اشتباهات رایج به طور غیرموثر عمل کند. رایج‌ترین مشکلات را بررسی می‌کنیم.

اشتباه 1: واکنش بسیار کند به افزایش بار