چرخش آدرس‌های IP: چگونه و چرا پراکسی‌ها را تغییر دهیم؟

درخواست ۱ → پروکسی A (185.45.12.34) → سایت می‌بیند 185.45.12.34
درخواست ۲ → پروکسی B (92.118.45.78) → سایت می‌بیند 92.118.45.78
درخواست ۳ → پروکسی C (178.62.91.22) → سایت می‌بیند 178.62.91.22
درخواست ۴ → پروکسی A (185.45.12.34) → سایت می‌بیند 185.45.12.34

۱. دور زدن محدودیت نرخ (Rate Limiting)

بیشتر سایت‌ها تعداد درخواست‌ها از یک IP در واحد زمان را محدود می‌کنند. برای مثال، یک API ممکن است تنها ۱۰۰ درخواست در ساعت را از یک IP مجاز بداند. با استفاده از چرخش از ۱۰ آدرس IP، می‌توانید ۱۰۰۰ درخواست در ساعت ارسال کنید و بار را توزیع نمایید.

۲. اجتناب از بن شدن IP هنگام اسکرپینگ

هنگام جمع‌آوری حجم زیادی از داده‌ها (اسکرپینگ تجارت الکترونیک، نظارت بر قیمت، جمع‌آوری اطلاعات تماس)، درخواست‌های مکرر از یک IP به سرعت منجر به مسدود شدن می‌شود. چرخش IP اجازه می‌دهد درخواست‌ها طوری توزیع شوند که هر IP تنها چند درخواست در ساعت ارسال کند — مانند یک کاربر عادی.

۳. دور زدن مسدودسازی‌های جغرافیایی

بسیاری از سرویس‌ها محتوا یا قیمت‌های متفاوتی را بر اساس موقعیت جغرافیایی نمایش می‌دهند. چرخش پروکسی از کشورهای مختلف، امکان جمع‌آوری داده‌ها از تمام مناطق را بدون نیاز به حضور فیزیکی فراهم می‌کند.

۴. پنهان‌سازی اتوماسیون

سیستم‌های امنیتی (Cloudflare, Akamai, PerimeterX) الگوهای رفتاری را تحلیل می‌کنند. اگر صدها درخواست در مدت زمان کوتاهی از یک IP ارسال شود، این نشانه آشکار ربات است. چرخش IP به ایجاد توهم کاربران مستقل متعدد کمک می‌کند.

۵. هوش رقابتی

ردیابی قیمت رقبا، نظارت بر کمپین‌های تبلیغاتی، تحلیل موقعیت‌های سئو نیازمند بررسی‌های مکرر است. چرخش IP امکان جمع‌آوری این داده‌ها را به صورت نامحسوس و بدون جلب توجه رقبا فراهم می‌کند.

۶. تست و نظارت

بررسی دسترسی سایت از مناطق مختلف، تست آزمایش‌های A/B، نظارت بر موقعیت‌های سئو در کشورهای مختلف، همگی نیازمند استفاده از آدرس‌های IP از مکان‌های گوناگون هستند.

۱. تحلیل نرخ محدودیت (Rate Limiting)

سایت‌ها تعداد درخواست‌ها را از یک IP در یک دوره زمانی مشخص ردیابی می‌کنند. آستانه‌های معمول عبارتند از:

• سایت‌های محافظه‌کار: ۱۰ تا ۳۰ درخواست در دقیقه
• سایت‌های متوسط: ۵۰ تا ۱۰۰ درخواست در دقیقه
• سرویس‌های API: ۱۰۰ تا ۱۰۰۰ درخواست در ساعت (اغلب در مستندات ذکر شده است)

۲. تحلیل اعتبار IP (IP Reputation Analysis)

پایگاه‌های داده گسترده‌ای وجود دارند که آدرس‌های IP را بر اساس نوع دسته‌بندی می‌کنند:

• IP مسکونی (Residential IP) — اینترنت خانگی (اعتبار بالا)
• IP دیتاسنتر (Datacenter IP) — سرورهای شرکت‌های هاستینگ (مشکوک)
• IP موبایل (Mobile IP) — اپراتورهای تلفن همراه (اعتبار بالا)
• IP پروکسی شناخته شده (Known proxy IP) — اغلب مسدود می‌شوند

۳. اثر انگشت مرورگر (Browser Fingerprinting)

حتی با تغییر IP، سیستم‌های امنیتی می‌توانند درخواست‌ها را بر اساس "اثر انگشت" منحصر به فرد مرورگر مرتبط کنند: رزولوشن صفحه، فونت‌های نصب شده، پلاگین‌ها، اثر انگشت WebGL، Canvas و Audio Context.

۴. تحلیل رفتاری (Behavioral Analysis)

سیستم‌های ضد ربات مدرن رفتار را تحلیل می‌کنند:

• سرعت پیمایش صفحه (Scroll speed)
• حرکات ماوس
• الگوهای کلیک
• زمان بین اقدامات
• توالی بازدید از صفحات

۵. اثر انگشت TLS (TLS Fingerprinting)

در اتصالات HTTPS، سرور می‌تواند نسخه TLS، مجموعه رمزنگاری‌های مورد استفاده و افزونه‌ها را تشخیص دهد — این داده‌ها اثر انگشتی منحصر به فرد ایجاد می‌کنند که حتی با تغییر IP نیز قابل ردیابی است.

بازه های زمانی معمول چرخش:

• هر ۵ دقیقه — برای اسکرپینگ فشرده با فرکانس بالای درخواست
• هر ۱۰ تا ۱۵ دقیقه — حالت استاندارد برای اکثر وظایف
• هر ۳۰ تا ۶۰ دقیقه — برای وظایفی با فرکانس پایین درخواست
• هر ۲ تا ۲۴ ساعت — برای سشن‌های چسبنده (sticky sessions)

✅ مزایا:

• قابلیت پیش‌بینی — دقیقاً می‌دانید چه زمانی IP تغییر می‌کند.
• سادگی پیاده‌سازی — به راحتی با استفاده از تایمرها قابل تنظیم است.
• مناسب برای سشن‌های چسبنده — می‌توان سشن را برای مدت زمان مشخصی حفظ کرد.
• توزیع یکنواخت — بار به طور مساوی در طول زمان توزیع می‌شود.
• مقیاس‌پذیری آسان — می‌توان چندین سشن موازی با تایمرهای مختلف اجرا کرد.

❌ معایب:

• عدم کارایی در بار متغیر — اگر درخواست‌ها کم باشند، IP بدون نیاز تغییر می‌کند.
• خطر تجاوز از محدودیت‌ها — اگر درخواست‌های زیادی در بازه زمانی کوتاه ارسال شود.
• الگوی قابل تشخیص — سیستم‌های امنیتی پیشرفته می‌توانند این نظم را تشخیص دهند.
• از دست دادن سشن — با تغییر IP، ممکن است وضعیت لاگین یا زمینه کار از بین برود.

🎯 بهترین کاربرد:

• وظایفی با بار قابل پیش‌بینی.
• عملیات طولانی‌مدت (لاگین، کار با اکانت‌ها).
• نظارت با فواصل زمانی ثابت.
• مواردی که حفظ IP برای مدت مشخصی اهمیت دارد.

۱۰:۰۰ - پروکسی A → بررسی قیمت‌ها (۵۰ کالا)
۱۰:۳۰ - پروکسی B → بررسی قیمت‌ها (۵۰ کالا)
۱۱:۰۰ - پروکسی C → بررسی قیمت‌ها (۵۰ کالا)
۱۱:۳۰ - پروکسی D → بررسی قیمت‌ها (۵۰ کالا)
۱۲:۰۰ - پروکسی A → بررسی قیمت‌ها (۵۰ کالا)

گزینه‌های پیاده‌سازی:

1. چرخش در هر درخواست — IP جدید برای هر درخواست (تهاجمی‌ترین استراتژی)
2. چرخش دسته‌ای (Burst) — تعویض IP پس از N درخواست (مثلاً هر ۱۰ درخواست)
3. چرخش تطبیقی (Adaptive) — تعویض IP هنگام دریافت کدهای HTTP خاص (429, 403, 503)
4. مبتنی بر سشن — تعویض IP هنگام شروع یک سشن منطقی جدید

✅ مزایا:

• حداکثر محافظت در برابر Rate Limiting — هر IP حداقل درخواست را انجام می‌دهد.
• انطباق‌پذیری — چرخش تنها در صورت لزوم انجام می‌شود.
• استفاده مؤثر از مجموعه پروکسی — IPها فقط در صورت نیاز تغییر می‌کنند.
• واکنش سریع به مسدود شدن — می‌توان IP را بلافاصله پس از خطا تغییر داد.
• ایده‌آل برای اسکرپینگ — هر صفحه با IP جدیدی درخواست می‌شود.

❌ معایب:

• عدم امکان حفظ سشن — تغییر مداوم IP، احراز هویت را مختل می‌کند.
• اشکال‌زدایی دشوارتر — بازتولید مشکل با یک IP خاص سخت‌تر است.
• مصرف سریع مجموعه — در صورت فعالیت شدید، ممکن است تمام IPها به سرعت مصرف شوند.
• هزینه بالاتر — نیاز به مجموعه بزرگ‌تری از پروکسی‌ها برای عملکرد مؤثر.
• سربار تعویض — هر تعویض IP کسری از ثانیه زمان می‌برد.

🎯 بهترین کاربرد:

• اسکرپینگ حجم زیادی از داده‌ها.
• دور زدن محدودیت‌های نرخ سخت‌گیرانه.
• درخواست‌های یک‌باره که نیازی به حفظ وضعیت ندارند.
• اسکرپینگ صفحات عمومی بدون نیاز به لاگین.
• وظایفی که هر درخواست مستقل از درخواست قبلی است.

نوع سایت	تعداد درخواست توصیه‌شده	فاصله زمانی
سایت‌های بسیار محافظت‌شده (بانک‌ها، شبکه‌های اجتماعی)	۱ تا ۳ درخواست	۵ تا ۱۰ ثانیه بین درخواست‌ها
تجارت الکترونیک (بازارها)	۵ تا ۱۰ درخواست	۲ تا ۵ ثانیه بین درخواست‌ها
پورتال‌های خبری	۱۰ تا ۲۰ درخواست	۱ تا ۳ ثانیه بین درخواست‌ها
APIهای عمومی	بستگی به محدودیت‌ها دارد	مطابق با مستندات
سایت‌های استاتیک	۲۰ تا ۵۰ درخواست	۰.۵ تا ۲ ثانیه بین درخواست‌ها

گزینه‌های چرخش تصادفی:

• فواصل زمانی تصادفی — تعویض IP در فواصل زمانی تصادفی (مثلاً بین ۳ تا ۱۵ دقیقه)
• تعداد درخواست تصادفی — تعویض پس از تعداد تصادفی درخواست (مثلاً بین ۵ تا ۲۰)
• انتخاب تصادفی IP — انتخاب IP بعدی از مجموعه به صورت تصادفی، نه به ترتیب
• چرخش وزن‌دار (Weighted random) — IPهایی با اعتبار بهتر بیشتر استفاده می‌شوند.
• چرخش با نویز (Jittered rotation) — افزودن تأخیر تصادفی به فواصل زمانی ثابت.

✅ مزایا:

• غیرقابل پیش‌بینی بودن — تشخیص الگو برای سیستم‌های امنیتی دشوارتر است.
• شبیه‌سازی رفتار واقعی — انسان‌ها با نظم ایده‌آل عمل نمی‌کنند.
• انعطاف‌پذیری — می‌توان آن را با سایر استراتژی‌ها ترکیب کرد.
• الگوی ترافیک طبیعی‌تر — شبیه به ترافیک ارگانیک.
• دشواری در شناسایی — حتی با تحلیل حجم زیادی از داده‌ها.

❌ معایب:

• پیش‌بینی دشوارتر — ارزیابی سرعت انجام وظیفه سخت‌تر است.
• ممکن است ناکارآمد باشد — اگر تصادفی بودن منجر به چرخش بیش از حد شود.
• اشکال‌زدایی پیچیده‌تر — بازتولید مشکل به دلیل تصادفی بودن سخت‌تر است.
• نیاز به مجموعه بزرگ‌تر — برای اطمینان از توزیع یکنواخت.
• پیاده‌سازی پیچیده‌تر — نیاز به الگوریتم خوب تولید اعداد تصادفی دارد.

🎯 بهترین کاربرد:

• دور زدن سیستم‌های امنیتی پیشرفته (Cloudflare, Akamai).
• پروژه‌های بلندمدت با نیازهای بالا به عدم شناسایی.
• هوش رقابتی.
• اسکرپینگ سایت‌هایی که تحلیل رفتاری دارند.
• وظایفی که حداکثر شبیه‌سازی رفتار انسانی را نیاز دارند.

معیار	مبتنی بر زمان	مبتنی بر درخواست	تصادفی
پیچیدگی پیاده‌سازی	⭐ آسان	⭐⭐ متوسط	⭐⭐⭐ دشوار
قابلیت پیش‌بینی	✅ بالا	⚠️ متوسط	❌ پایین
محافظت در برابر Rate Limit	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
عدم شناسایی (Stealth)	⭐⭐	⭐⭐⭐	⭐⭐⭐⭐⭐
پشتیبانی از سشن‌ها	✅ بله	❌ خیر	⚠️ جزئی
کارایی استفاده از مجموعه	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
سرعت اسکرپینگ	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
اندازه مجموعه مورد نیاز	کوچک-متوسط	بزرگ	متوسط-بزرگ
سهولت اشکال‌زدایی	✅ آسان	⚠️ متوسط	❌ دشوار
هزینه	💰 پایین	💰💰💰 بالا	💰💰 متوسط

تنظیمات معمول سشن‌های چسبنده:

• ۱ تا ۵ دقیقه — سشن‌های کوتاه برای عملیات سریع
• ۱۰ تا ۳۰ دقیقه — حالت استاندارد برای اکثر وظایف
• ۱ تا ۲ ساعت — برای کار با اکانت‌ها و احراز هویت
• ۱۲ تا ۲۴ ساعت — حداکثر مدت زمان برای عملیات طولانی‌مدت
• نامحدود (Infinite) — IP تا پایان سشن حفظ می‌شود.

✅ مزایا سشن‌های چسبنده:

• حفظ احراز هویت — می‌توانید وارد اکانت شوید و از طرف آن کار کنید.
• پشتیبانی از کوکی‌ها — سایت شما را بین درخواست‌ها "به خاطر می‌آورد".
• رفتار طبیعی — کاربر عادی از یک IP در طول یک سشن استفاده می‌کند.
• CAPTCHA کمتر — IP ثابت کمتر باعث سوءظن می‌شود.
• عملیات چند مرحله‌ای — امکان انجام عملیات چند مرحله‌ای.
• اشکال‌زدایی آسان‌تر — بازتولید مشکل با یک IP خاص ساده‌تر است.

❌ معایب سشن‌های چسبنده:

• آسیب‌پذیری در برابر Rate Limiting — تمام درخواست‌ها از یک IP می‌آیند.
• خطر بن شدن کل سشن — اگر IP مسدود شود، تمام پیشرفت از دست می‌رود.
• مقیاس‌پذیری کمتر — محدود به سرعت یک IP.
• مدت زمان محدود — سشن در نهایت منقضی شده و IP تغییر خواهد کرد.

✅ مزایای پروکسی‌های چرخشی:

• حداکثر محافظت در برابر Rate Limiting — هر IP حداقل درخواست را انجام می‌دهد.
• سرعت بالای اسکرپینگ — امکان ارسال هزاران درخواست موازی.
• کمترین ریسک مسدود شدن — اگر یک IP مسدود شود، بر کار تأثیر نمی‌گذارد.
• مقیاس‌پذیری — افزایش حجم کار به راحتی امکان‌پذیر است.
• عدم شناسایی — شبیه به کاربران مستقل متعدد به نظر می‌رسد.

❌ معایب پروکسی‌های چرخشی:

• عدم امکان احراز هویت — تغییر مداوم IP، سشن را از بین می‌برد.
• کوکی‌ها کار نمی‌کنند — هر درخواست شبیه به کاربر جدیدی است.
• عملیات چند مرحله‌ای غیرممکن — سبد خرید، فرم‌ها و فرآیند پرداخت کار نمی‌کنند.
• CAPTCHA بیشتر — تغییر مکرر IP ممکن است باعث سوءظن شود.
• هزینه بالاتر — نیاز به مجموعه بزرگ‌تری از پروکسی‌ها دارد.

معیار	سشن‌های چسبنده	پروکسی‌های چرخشی
احراز هویت	✅ بله	❌ خیر
کوکی‌ها	✅ کار می‌کنند	❌ کار نمی‌کنند
دور زدن Rate Limit	⚠️ محدود	✅ عالی
سرعت اسکرپینگ	⭐⭐⭐	⭐⭐⭐⭐⭐
ریسک مسدود شدن	⚠️ متوسط	✅ پایین
هزینه	💰 پایین‌تر	💰💰 بالاتر
پیچیدگی	⭐ ساده	⭐⭐ متوسط

۱. مدیریت شبکه‌های اجتماعی

هنگام کار با چندین اکانت اینستاگرام، فیسبوک، توییتر، حفظ یک IP در طول سشن ضروری است. تغییر مکرر IP پس از لاگین، مسیر مستقیم به مسدود شدن اکانت است.

توصیه: سشن چسبنده ۱ تا ۲ ساعته، یک IP منحصر به فرد برای هر اکانت.

۲. تجارت الکترونیک و سبدهای خرید

اضافه کردن کالا به سبد خرید، نهایی کردن سفارش، فرآیند پرداخت — همه این مراحل نیازمند حفظ سشن هستند. تغییر IP منجر به از دست رفتن سبد خرید و نیاز به شروع مجدد می‌شود.

توصیه: سشن چسبنده ۳۰ تا ۶۰ دقیقه‌ای برای تکمیل چرخه خرید.

۳. پر کردن فرم‌ها و ثبت‌نام

فرم‌های چند مرحله‌ای، ثبت‌نام در سایت‌ها، تأیید ایمیل — تمام این فرآیندها نیازمند ثبات IP هستند. تغییر IP بین مراحل ممکن است باعث سوءظن یا خطاهای اعتبارسنجی شود.

توصیه: سشن چسبنده ۱۰ تا ۳۰ دقیقه‌ای برای تکمیل فرآیند.

۴. تست برنامه‌های وب

تست سرتاسری (E2E)، اتوماسیون با Selenium/Puppeteer، بررسی سناریوهای کاربر — همه این موارد نیازمند حفظ IP برای شبیه‌سازی تجربه کاربر واقعی هستند.

توصیه: سشن چسبنده به مدت کل تست (۵ تا ۶۰ دقیقه).

۵. کار با APIهایی که نیاز به احراز هویت دارند

بسیاری از APIها توکن دسترسی را به آدرس IP گره می‌زنند. تغییر IP منجر به باطل شدن توکن و نیاز به احراز هویت مجدد می‌شود.

توصیه: سشن چسبنده به مدت اعتبار توکن (معمولاً ۱ تا ۲۴ ساعت).

import requests
from itertools import cycle

# لیست پروکسی‌ها
proxies_list = [
    'http://user:pass@185.45.12.34:8000',
    'http://user:pass@92.118.45.78:8000',
    'http://user:pass@178.62.91.22:8000',
    'http://user:pass@45.89.234.56:8000'
]

# ایجاد یک تکرارکننده (iterator) بی‌پایان
proxy_pool = cycle(proxies_list)

# تابع ارسال درخواست
def make_request(url):
    proxy = next(proxy_pool)
    proxies = {
        'http': proxy,
        'https': proxy
    }

    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        print(f"موفقیت با {proxy}: {response.status_code}")
        return response
    except Exception as e:
        print(f"خطا با {proxy}: {e}")
        return None

# استفاده
urls = ['https://example.com/page1', 'https://example.com/page2']
for url in urls:
    make_request(url)
    # هر درخواست از پروکسی بعدی در لیست استفاده می‌کند

import requests
import random
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

class ProxyRotator:
    def __init__(self, proxies_list):
        self.proxies = proxies_list
        self.failed_proxies = set()

    def get_random_proxy(self):
        """دریافت پروکسی تصادفی فعال"""
        available = [p for p in self.proxies if p not in self.failed_proxies]
        if not available:
            # اگر همه پروکسی‌ها رد شدند، لیست را بازنشانی می‌کنیم
            self.failed_proxies.clear()
            available = self.proxies
        return random.choice(available)

    def make_request(self, url, max_retries=3):
        """ارسال درخواست با چرخش خودکار هنگام خطا"""
        session = requests.Session()

        # تنظیم استراتژی تلاش مجدد
        retry = Retry(
            total=max_retries,
            backoff_factor=0.5,
            status_forcelist=[500, 502, 503, 504]
        )
        adapter = HTTPAdapter(max_retries=retry)
        session.mount('http://', adapter)
        session.mount('https://', adapter)

        for attempt in range(max_retries):
            proxy = self.get_random_proxy()
            proxies = {'http': proxy, 'https': proxy}

            try:
                response = session.get(url, proxies=proxies, timeout=15)

                # بررسی محدودیت نرخ
                if response.status_code == 429:
                    print(f"محدودیت نرخ در {proxy}، در حال چرخش...")
                    self.failed_proxies.add(proxy)
                    continue

                print(f"✓ موفقیت با {proxy}")
                return response

            except Exception as e:
                print(f"✗ شکست با {proxy}: {e}")
                self.failed_proxies.add(proxy)

        raise Exception(f"تمام تلاش‌ها برای {url} ناموفق بود")

# استفاده
proxies = [
    'http://user:pass@proxy1.com:8000',
    'http://user:pass@proxy2.com:8000',
    'http://user:pass@proxy3.com:8000'
]

rotator = ProxyRotator(proxies)
response = rotator.make_request('https://example.com')

import requests
import time
from datetime import datetime, timedelta

class TimeBasedRotator:
    def __init__(self, proxies_list, rotation_interval=600):
        """
        rotation_interval: زمان بر حسب ثانیه (600 = 10 دقیقه)
        """
        self.proxies = proxies_list
        self.rotation_interval = rotation_interval
        self.current_proxy = None
        self.last_rotation = None
        self.current_index = 0

    def get_proxy(self):
        """دریافت پروکسی فعلی یا چرخش در صورت انقضای زمان"""
        now = datetime.now()

        # اولین اجرا یا انقضای زمان
        if (self.last_rotation is None or
            (now - self.last_rotation).seconds >= self.rotation_interval):

            self.current_proxy = self.proxies[self.current_index]
            self.current_index = (self.current_index + 1) % len(self.proxies)
            self.last_rotation = now
            print(f"🔄 چرخش به: {self.current_proxy}")

        return self.current_proxy

    def make_request(self, url):
        proxy = self.get_proxy()
        proxies = {'http': proxy, 'https': proxy}

        response = requests.get(url, proxies=proxies, timeout=10)
        return response

# استفاده: IP هر ۱۰ دقیقه تغییر خواهد کرد
# توجه: proxies_list باید از مثال‌های قبلی تعریف شده باشد
rotator = TimeBasedRotator(proxies_list, rotation_interval=600)

for i in range(100):
    response = rotator.make_request('https://example.com')
    print(f"درخواست {i}: {response.status_code}")
    time.sleep(2)  # ۲ ثانیه بین درخواست‌ها

const axios = require('axios');
const HttpsProxyAgent = require('https-proxy-agent');

class ProxyRotator {
  constructor(proxies) {
    this.proxies = proxies;
    this.currentIndex = 0;
  }

  getNextProxy() {
    const proxy = this.proxies[this.currentIndex];
    this.currentIndex = (this.currentIndex + 1) % this.proxies.length;
    return proxy;
  }

  async makeRequest(url, options = {}) {
    const proxy = this.getNextProxy();
    const agent = new HttpsProxyAgent(proxy);

    try {
      const response = await axios.get(url, {
        ...options,
        httpAgent: agent,
        httpsAgent: agent,
        timeout: 10000
      });

      console.log(`✓ موفقیت با ${proxy}: ${response.status}`);
      return response.data;

    } catch (error) {
      console.error(`✗ شکست با ${proxy}: ${error.message}`);
      throw error;
    }
  }
}

// استفاده
const proxies = [
  'http://user:pass@proxy1.com:8000',
  'http://user:pass@proxy2.com:8000',
  'http://user:pass@proxy3.com:8000'
];

const rotator = new ProxyRotator(proxies);

async function scrape() {
  const urls = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3'
  ];

  for (const url of urls) {
    try {
      await rotator.makeRequest(url);
    } catch (error) {
      console.error(`عدم موفقیت در اسکرپ ${url}`);
    }
  }
}

scrape();

const puppeteer = require('puppeteer');

class PuppeteerProxyRotator {
  constructor(proxies) {
    this.proxies = proxies;
    this.currentIndex = 0;
  }

  getNextProxy() {
    const proxy = this.proxies[this.currentIndex];
    this.currentIndex = (this.currentIndex + 1) % this.proxies.length;
    return proxy;
  }

  async scrapeWithRotation(url) {
    const proxy = this.getNextProxy();

    // تجزیه URL پروکسی
    const proxyUrl = new URL(proxy);

    const browser = await puppeteer.launch({
      headless: true,
      args: [
        `--proxy-server=${proxyUrl.protocol}//${proxyUrl.host}`,
        '--no-sandbox',
        '--disable-setuid-sandbox'
      ]
    });

    try {
      const page = await browser.newPage();

      // احراز هویت پروکسی در صورت وجود
      if (proxyUrl.username && proxyUrl.password) {
        await page.authenticate({
          username: proxyUrl.username,
          password: proxyUrl.password
        });
      }

      await page.goto(url, { waitUntil: 'networkidle2', timeout: 30000 });

      const content = await page.content();
      console.log(`✓ اسکرپ شد ${url} با ${proxy}`);

      await browser.close();
      return content;

    } catch (error) {
      console.error(`✗ خطا با ${proxy}: ${error.message}`);
      await browser.close();
      throw error;
    }
  }
}

// استفاده
const proxies = [
  'http://user:pass@185.45.12.34:8000',
  'http://user:pass@92.118.45.78:8000'
];

const rotator = new PuppeteerProxyRotator(proxies);

async function scrapeMultiplePages() {
  const urls = ['https://example.com/1', 'https://example.com/2'];

  for (const url of urls) {
    await rotator.scrapeWithRotation(url);
    // هر صفحه با پروکسی جدیدی باز می‌شود
  }
}

scrapeMultiplePages();

نحوه کارکرد:

1. شما به یک نقطه ورودی واحد متصل می‌شوید (مثلاً rotate.proxycove.com:8000).
2. دروازه به صورت خودکار با هر درخواست، IP تصادفی را از مجموعه انتخاب می‌کند.
3. نیازی به مدیریت لیست پروکسی‌ها و نوشتن منطق چرخش ندارید.
4. امکان تنظیم سشن‌های چسبنده از طریق پارامترها (session_id در نام کاربری) وجود دارد.

# مثال پایتون با دروازه چرخشی
import requests

# برای چرخش: هر درخواست = IP جدید
proxies = {
    'http': 'http://username:password@rotate.proxycove.com:8000',
    'https': 'http://username:password@rotate.proxycove.com:8000'
}

# برای سشن چسبنده: اضافه کردن session_id
sticky_proxies = {
    'http': 'http://username-session-abc123:password@rotate.proxycove.com:8000',
    'https': 'http://username-session-abc123:password@rotate.proxycove.com:8000'
}

# چرخش: هر درخواست با IP جدید
for i in range(10):
    r = requests.get('https://api.ipify.org', proxies=proxies)
    print(f"درخواست {i}: IP = {r.text}")  # هر بار IP متفاوت

# چسبنده: تمام درخواست‌ها با یک IP
for i in range(10):
    r = requests.get('https://api.ipify.org', proxies=sticky_proxies)
    print(f"درخواست {i}: IP = {r.text}")  # همیشه یک IP

۱. ProxyBroker

کتابخانه‌ای برای یافتن، بررسی و استفاده از پروکسی‌ها با چرخش خودکار.

۲. rotating-proxies (Scrapy middleware)

میدل‌ور برای Scrapy با پشتیبانی از چرخش خودکار و مدیریت لیست سیاه.

۳. requests-ip-rotator

افزونه‌ای برای کتابخانه requests با پشتیبانی از چرخش IP از طریق AWS API Gateway.

۱. proxy-chain

کتابخانه‌ای برای ایجاد سرور پروکسی HTTP با چرخش و تونل‌سازی.

۲. puppeteer-extra-plugin-proxy-rotation

افزونه‌ای برای Puppeteer با چرخش خودکار پروکسی برای هر صفحه.

۱. چرخش وزن‌دار (Weighted Rotation)

پروکسی‌هایی با اعتبار و سرعت بهتر، بیشتر استفاده می‌شوند. به عنوان مثال، IPهای مسکونی وزن ۰.۶ و IPهای دیتاسنتر وزن ۰.۴ می‌گیرند.

۲. چرخش هدفمند جغرافیایی (Geo-targeted Rotation)

انتخاب خودکار پروکسی از کشور/شهر مورد نظر بر اساس URL هدف. به عنوان مثال، برای دامنه .de از پروکسی‌های آلمانی استفاده می‌شود.

۳. بررسی سلامت و حذف خودکار (Health Check & Auto-removal)

بررسی دوره‌ای سلامت پروکسی‌ها و حذف خودکار موارد غیرفعال از مجموعه. بازیابی پس از دوره "سرد شدن".

۴. چرخش تطبیقی بر اساس نرخ درخواست

فرکانس چرخش به طور خودکار بر اساس کدهای HTTP دریافتی تنظیم می‌شود. در صورت دریافت 429 (Too Many Requests)، چرخش تسریع می‌شود.

تنظیمات معمول سشن‌های چسبنده:

• ۱ تا ۵ دقیقه — سشن‌های کوتاه برای عملیات سریع
• ۱۰ تا ۳۰ دقیقه — حالت استاندارد برای اکثر وظایف
• ۱ تا ۲ ساعت — برای کار با اکانت‌ها و احراز هویت
• ۱۲ تا ۲۴ ساعت — حداکثر مدت زمان برای عملیات طولانی‌مدت
• نامحدود (Infinite) — IP تا پایان سشن حفظ می‌شود.

✅ مزایا سشن‌های چسبنده:

• حفظ احراز هویت — می‌توانید وارد اکانت شوید و از طرف آن کار کنید.
• پشتیبانی از کوکی‌ها — سایت شما را بین درخواست‌ها "به خاطر می‌آورد".
• رفتار طبیعی — کاربر عادی از یک IP در طول یک سشن استفاده می‌کند.
• CAPTCHA کمتر — IP ثابت کمتر باعث سوءظن می‌شود.
• عملیات چند مرحله‌ای — امکان انجام عملیات چند مرحله‌ای.
• اشکال‌زدایی آسان‌تر — بازتولید مشکل با یک IP خاص ساده‌تر است.

❌ معایب سشن‌های چسبنده:

• آسیب‌پذیری در برابر Rate Limiting — تمام درخواست‌ها از یک IP می‌آیند.
• خطر بن شدن کل سشن — اگر IP مسدود شود، تمام پیشرفت از دست می‌رود.
• مقیاس‌پذیری کمتر — محدود به سرعت یک IP.
• مدت زمان محدود — سشن در نهایت منقضی شده و IP تغییر خواهد کرد.

✅ مزایای پروکسی‌های چرخشی:

• حداکثر محافظت در برابر Rate Limiting — هر IP حداقل درخواست را انجام می‌دهد.
• سرعت بالای اسکرپینگ — امکان ارسال هزاران درخواست موازی.
• کمترین ریسک مسدود شدن — اگر یک IP مسدود شود، بر کار تأثیر نمی‌گذارد.
• مقیاس‌پذیری — افزایش حجم کار به راحتی امکان‌پذیر است.
• عدم شناسایی — شبیه به کاربران مستقل متعدد به نظر می‌رسد.

❌ معایب پروکسی‌های چرخشی:

• عدم امکان احراز هویت — تغییر مداوم IP، سشن را از بین می‌برد.
• کوکی‌ها کار نمی‌کنند — هر درخواست شبیه به کاربر جدیدی است.
• عملیات چند مرحله‌ای غیرممکن — سبد خرید، فرم‌ها و فرآیند پرداخت کار نمی‌کنند.
• CAPTCHA بیشتر — تغییر مکرر IP ممکن است باعث سوءظن شود.
• هزینه بالاتر — نیاز به مجموعه بزرگ‌تری از پروکسی‌ها دارد.

معیار	سشن‌های چسبنده	پروکسی‌های چرخشی
احراز هویت	✅ بله	❌ خیر
کوکی‌ها	✅ کار می‌کنند	❌ کار نمی‌کنند
دور زدن Rate Limit	⚠️ محدود	✅ عالی
سرعت اسکرپینگ	⭐⭐⭐	⭐⭐⭐⭐⭐
ریسک مسدود شدن	⚠️ متوسط	✅ پایین
هزینه	💰 پایین‌تر	💰💰 بالاتر
پیچیدگی	⭐ ساده	⭐⭐ متوسط

۱. مدیریت شبکه‌های اجتماعی

هنگام کار با چندین اکانت اینستاگرام، فیسبوک، توییتر، حفظ یک IP در طول سشن ضروری است. تغییر مکرر IP پس از لاگین، مسیر مستقیم به مسدود شدن اکانت است.

توصیه: سشن چسبنده ۱ تا ۲ ساعته، یک IP منحصر به فرد برای هر اکانت.

۲. تجارت الکترونیک و سبدهای خرید

اضافه کردن کالا به سبد خرید، نهایی کردن سفارش، فرآیند پرداخت — همه این مراحل نیازمند حفظ سشن هستند. تغییر IP منجر به از دست رفتن سبد خرید و نیاز به شروع مجدد می‌شود.

توصیه: سشن چسبنده ۳۰ تا ۶۰ دقیقه‌ای برای تکمیل چرخه خرید.

۳. پر کردن فرم‌ها و ثبت‌نام

فرم‌های چند مرحله‌ای، ثبت‌نام در سایت‌ها، تأیید ایمیل — تمام این فرآیندها نیازمند ثبات IP هستند. تغییر IP بین مراحل ممکن است باعث سوءظن یا خطاهای اعتبارسنجی شود.

توصیه: سشن چسبنده ۱۰ تا ۳۰ دقیقه‌ای برای تکمیل فرآیند.

۴. تست برنامه‌های وب

تست سرتاسری (E2E)، اتوماسیون با Selenium/Puppeteer، بررسی سناریوهای کاربر — همه این موارد نیازمند حفظ IP برای شبیه‌سازی تجربه کاربر واقعی هستند.

توصیه: سشن چسبنده به مدت کل تست (۵ تا ۶۰ دقیقه).

۵. کار با APIهایی که نیاز به احراز هویت دارند

بسیاری از APIها توکن دسترسی را به آدرس IP گره می‌زنند. تغییر IP منجر به باطل شدن توکن و نیاز به احراز هویت مجدد می‌شود.

توصیه: سشن چسبنده به مدت اعتبار توکن (معمولاً ۱ تا ۲۴ ساعت).

import requests
from itertools import cycle

# لیست پروکسی‌ها
proxies_list = [
    'http://user:pass@185.45.12.34:8000',
    'http://user:pass@92.118.45.78:8000',
    'http://user:pass@178.62.91.22:8000',
    'http://user:pass@45.89.234.56:8000'
]

# ایجاد یک تکرارکننده (iterator) بی‌پایان
proxy_pool = cycle(proxies_list)

# تابع ارسال درخواست
def make_request(url):
    proxy = next(proxy_pool)
    proxies = {
        'http': proxy,
        'https': proxy
    }

    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        print(f"موفقیت با {proxy}: {response.status_code}")
        return response
    except Exception as e:
        print(f"خطا با {proxy}: {e}")
        return None

# استفاده
urls = ['https://example.com/page1', 'https://example.com/page2']
for url in urls:
    make_request(url)
    # هر درخواست از پروکسی بعدی در لیست استفاده می‌کند

import requests
import random
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

class ProxyRotator:
    def __init__(self, proxies_list):
        self.proxies = proxies_list
        self.failed_proxies = set()

    def get_random_proxy(self):
        """دریافت پروکسی تصادفی فعال"""
        available = [p for p in self.proxies if p not in self.failed_proxies]
        if not available:
            # اگر همه پروکسی‌ها رد شدند، لیست را بازنشانی می‌کنیم
            self.failed_proxies.clear()
            available = self.proxies
        return random.choice(available)

    def make_request(self, url, max_retries=3):
        """ارسال درخواست با چرخش خودکار هنگام خطا"""
        session = requests.Session()

        # تنظیم استراتژی تلاش مجدد
        retry = Retry(
            total=max_retries,
            backoff_factor=0.5,
            status_forcelist=[500, 502, 503, 504]
        )
        adapter = HTTPAdapter(max_retries=retry)
        session.mount('http://', adapter)
        session.mount('https://', adapter)

        for attempt in range(max_retries):
            proxy = self.get_random_proxy()
            proxies = {'http': proxy, 'https': proxy}

            try:
                response = session.get(url, proxies=proxies, timeout=15)

                # بررسی محدودیت نرخ
                if response.status_code == 429:
                    print(f"محدودیت نرخ در {proxy}، در حال چرخش...")
                    self.failed_proxies.add(proxy)
                    continue

                print(f"✓ موفقیت با {proxy}")
                return response

            except Exception as e:
                print(f"✗ شکست با {proxy}: {e}")
                self.failed_proxies.add(proxy)

        raise Exception(f"تمام تلاش‌ها برای {url} ناموفق بود")

# استفاده
proxies = [
    'http://user:pass@proxy1.com:8000',
    'http://user:pass@proxy2.com:8000',
    'http://user:pass@proxy3.com:8000'
]

rotator = ProxyRotator(proxies)
response = rotator.make_request('https://example.com')

import requests
import time
from datetime import datetime, timedelta

class TimeBasedRotator:
    def __init__(self, proxies_list, rotation_interval=600):
        """
        rotation_interval: زمان بر حسب ثانیه (600 = 10 دقیقه)
        """
        self.proxies = proxies_list
        self.rotation_interval = rotation_interval
        self.current_proxy = None
        self.last_rotation = None
        self.current_index = 0

    def get_proxy(self):
        """دریافت پروکسی فعلی یا چرخش در صورت انقضای زمان"""
        now = datetime.now()

        # اولین اجرا یا انقضای زمان
        if (self.last_rotation is None or
            (now - self.last_rotation).seconds >= self.rotation_interval):

            self.current_proxy = self.proxies[self.current_index]
            self.current_index = (self.current_index + 1) % len(self.proxies)
            self.last_rotation = now
            print(f"🔄 چرخش به: {self.current_proxy}")

        return self.current_proxy

    def make_request(self, url):
        proxy = self.get_proxy()
        proxies = {'http': proxy, 'https': proxy}

        response = requests.get(url, proxies=proxies, timeout=10)
        return response

# استفاده: IP هر ۱۰ دقیقه تغییر خواهد کرد
# توجه: proxies_list باید از مثال‌های قبلی تعریف شده باشد
rotator = TimeBasedRotator(proxies_list, rotation_interval=600)

for i in range(100):
    response = rotator.make_request('https://example.com')
    print(f"درخواست {i}: {response.status_code}")
    time.sleep(2)  # ۲ ثانیه بین درخواست‌ها

const axios = require('axios');
const HttpsProxyAgent = require('https-proxy-agent');

class ProxyRotator {
  constructor(proxies) {
    this.proxies = proxies;
    this.currentIndex = 0;
  }

  getNextProxy() {
    const proxy = this.proxies[this.currentIndex];
    this.currentIndex = (this.currentIndex + 1) % this.proxies.length;
    return proxy;
  }

  async makeRequest(url, options = {}) {
    const proxy = this.getNextProxy();
    const agent = new HttpsProxyAgent(proxy);

    try {
      const response = await axios.get(url, {
        ...options,
        httpAgent: agent,
        httpsAgent: agent,
        timeout: 10000
      });

      console.log(`✓ موفقیت با ${proxy}: ${response.status}`);
      return response.data;

    } catch (error) {
      console.error(`✗ شکست با ${proxy}: ${error.message}`);
      throw error;
    }
  }
}

// استفاده
const proxies = [
  'http://user:pass@proxy1.com:8000',
  'http://user:pass@proxy2.com:8000',
  'http://user:pass@proxy3.com:8000'
];

const rotator = new ProxyRotator(proxies);

async function scrape() {
  const urls = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3'
  ];

  for (const url of urls) {
    try {
      await rotator.makeRequest(url);
    } catch (error) {
      console.error(`عدم موفقیت در اسکرپ ${url}`);
    }
  }
}

scrape();

const puppeteer = require('puppeteer');

class PuppeteerProxyRotator {
  constructor(proxies) {
    this.proxies = proxies;
    this.currentIndex = 0;
  }

  getNextProxy() {
    const proxy = this.proxies[this.currentIndex];
    this.currentIndex = (this.currentIndex + 1) % this.proxies.length;
    return proxy;
  }

  async scrapeWithRotation(url) {
    const proxy = this.getNextProxy();

    // تجزیه URL پروکسی
    const proxyUrl = new URL(proxy);

    const browser = await puppeteer.launch({
      headless: true,
      args: [
        `--proxy-server=${proxyUrl.protocol}//${proxyUrl.host}`,
        '--no-sandbox',
        '--disable-setuid-sandbox'
      ]
    });

    try {
      const page = await browser.newPage();

      // احراز هویت پروکسی در صورت وجود
      if (proxyUrl.username && proxyUrl.password) {
        await page.authenticate({
          username: proxyUrl.username,
          password: proxyUrl.password
        });
      }

      await page.goto(url, { waitUntil: 'networkidle2', timeout: 30000 });

      const content = await page.content();
      console.log(`✓ اسکرپ شد ${url} با ${proxy}`);

      await browser.close();
      return content;

    } catch (error) {
      console.error(`✗ خطا با ${proxy}: ${error.message}`);
      await browser.close();
      throw error;
    }
  }
}

// استفاده
const proxies = [
  'http://user:pass@185.45.12.34:8000',
  'http://user:pass@92.118.45.78:8000'
];

const rotator = new PuppeteerProxyRotator(proxies);

async function scrapeMultiplePages() {
  const urls = ['https://example.com/1', 'https://example.com/2'];

  for (const url of urls) {
    await rotator.scrapeWithRotation(url);
    // هر صفحه با پروکسی جدیدی باز می‌شود
  }
}

scrapeMultiplePages();

نحوه کارکرد:

1. شما به یک نقطه ورودی واحد متصل می‌شوید (مثلاً rotate.proxycove.com:8000).
2. دروازه به صورت خودکار با هر درخواست، IP تصادفی را از مجموعه انتخاب می‌کند.
3. نیازی به مدیریت لیست پروکسی‌ها و نوشتن منطق چرخش ندارید.
4. امکان تنظیم سشن‌های چسبنده از طریق پارامترها (session_id در نام کاربری) وجود دارد.

# مثال پایتون با دروازه چرخشی
import requests

# برای چرخش: هر درخواست = IP جدید
proxies = {
    'http': 'http://username:password@rotate.proxycove.com:8000',
    'https': 'http://username:password@rotate.proxycove.com:8000'
}

# برای سشن چسبنده: اضافه کردن session_id
sticky_proxies = {
    'http': 'http://username-session-abc123:password@rotate.proxycove.com:8000',
    'https': 'http://username-session-abc123:password@rotate.proxycove.com:8000'
}

# چرخش: هر درخواست با IP جدید
for i in range(10):
    r = requests.get('https://api.ipify.org', proxies=proxies)
    print(f"درخواست {i}: IP = {r.text}")  # هر بار IP متفاوت

# چسبنده: تمام درخواست‌ها با یک IP
for i in range(10):
    r = requests.get('https://api.ipify.org', proxies=sticky_proxies)
    print(f"درخواست {i}: IP = {r.text}")  # همیشه یک IP

۱. ProxyBroker

کتابخانه‌ای برای یافتن، بررسی و استفاده از پروکسی‌ها با چرخش خودکار.

۲. rotating-proxies (Scrapy middleware)

میدل‌ور برای Scrapy با پشتیبانی از چرخش خودکار و مدیریت لیست سیاه.

۳. requests-ip-rotator

افزونه‌ای برای کتابخانه requests با پشتیبانی از چرخش IP از طریق AWS API Gateway.

۱. proxy-chain

کتابخانه‌ای برای ایجاد سرور پروکسی HTTP با چرخش و تونل‌سازی.

۲. puppeteer-extra-plugin-proxy-rotation

افزونه‌ای برای Puppeteer با چرخش خودکار پروکسی برای هر صفحه.

۱. چرخش وزن‌دار (Weighted Rotation)

پروکسی‌هایی با اعتبار و سرعت بهتر، بیشتر استفاده می‌شوند. به عنوان مثال، IPهای مسکونی وزن ۰.۶ و IPهای دیتاسنتر وزن ۰.۴ می‌گیرند.

۲. چرخش هدفمند جغرافیایی (Geo-targeted Rotation)

انتخاب خودکار پروکسی از کشور/شهر مورد نظر بر اساس URL هدف. به عنوان مثال، برای دامنه .de از پروکسی‌های آلمانی استفاده می‌شود.

۳. بررسی سلامت و حذف خودکار (Health Check & Auto-removal)

بررسی دوره‌ای سلامت پروکسی‌ها و حذف خودکار موارد غیرفعال از مجموعه. بازیابی پس از دوره "سرد شدن".

۴. چرخش تطبیقی بر اساس نرخ درخواست

فرکانس چرخش به طور خودکار بر اساس کدهای HTTP دریافتی تنظیم می‌شود. در صورت دریافت 429 (Too Many Requests)، چرخش تسریع می‌شود.

۱. نوع سایت هدف

• سایت‌های بسیار محافظت‌شده (بانک‌ها، شبکه‌های اجتماعی): چرخش هر ۳ تا ۵ درخواست یا هر ۱۰ تا ۱۵ دقیقه
• تجارت الکترونیک (آمازون، والمارت): چرخش هر ۵ تا ۱۰ درخواست یا هر ۵ تا ۱۰ دقیقه
• سایت‌های خبری: چرخش هر ۱۰ تا ۲۰ درخواست یا هر ۱۵ تا ۳۰ دقیقه
• APIهای عمومی: مطابق با مستندات (اغلب ۱۰۰ تا ۱۰۰۰ درخواست در ساعت برای هر IP)
• سایت‌های استاتیک: چرخش هر ۲۰ تا ۵۰ درخواست یا هر ۳۰ تا ۶۰ دقیقه

۲. حجم داده برای جمع‌آوری

• حجم کم (تا ۱,۰۰۰ صفحه): مبتنی بر زمان، چرخش هر ۱۵ تا ۳۰ دقیقه
• حجم متوسط (۱,۰۰۰ تا ۱۰,۰۰۰ صفحه): مبتنی بر درخواست، چرخش هر ۱۰ تا ۱۵ درخواست
• حجم زیاد (بیش از ۱۰,۰۰۰ صفحه): چرخش در هر درخواست با مجموعه پروکسی بزرگ

۳. اندازه مجموعه پروکسی

• مجموعه کوچک (۱۰ تا ۵۰ IP): چرخش مبتنی بر زمان ۳۰ تا ۶۰ دقیقه، برای "سرد شدن" هر IP.
• مجموعه متوسط (۵۰ تا ۲۰۰ IP): چرخش مبتنی بر درخواست ۱۰ تا ۲۰ درخواست برای هر IP.
• مجموعه بزرگ (بیش از ۲۰۰ IP): چرخش در هر درخواست، حداکثر سرعت.

۴. نیاز به سشن

• بدون احراز هویت: چرخش تهاجمی، هر ۱ تا ۵ درخواست.
• با احراز هویت: سشن چسبنده در طول عملیات (۱ تا ۲۴ ساعت).
• حالت ترکیبی: چسبنده برای احراز هویت، چرخشی برای جمع‌آوری داده‌ها.

سناریوی استفاده	فرکانس چرخش	اندازه مجموعه	تأخیر بین درخواست‌ها
اسکرپینگ جستجوی گوگل	هر ۳ تا ۵ درخواست	۲۰۰ تا ۵۰۰ IP	۵ تا ۱۰ ثانیه
نظارت بر قیمت آمازون	هر ۵ تا ۱۰ درخواست	۱۰۰ تا ۳۰۰ IP	۳ تا ۷ ثانیه
اتوماسیون اینستاگرام	سشن چسبنده ۱ تا ۲ ساعت	۱ IP در هر اکانت	۳۰ تا ۶۰ ثانیه
تجمع‌کننده اخبار	هر ۱۵ تا ۳۰ دقیقه	۵۰ تا ۱۰۰ IP	۱ تا ۳ ثانیه
اسکرپینگ املاک	هر ۱۰ تا ۲۰ درخواست	۵۰ تا ۲۰۰ IP	۲ تا ۵ ثانیه
نظارت بر API	بر اساس محدودیت‌های API	مطابق با محدودیت‌ها	مطابق با مستندات
ردیابی موقعیت سئو	هر ۲۰ تا ۳۰ درخواست	۱۰۰ تا ۳۰۰ IP	۳ تا ۸ ثانیه
اسکرپینگ آوی‌تو/یولا (روسیه)	هر ۷ تا ۱۵ درخواست	۱۰۰ تا ۲۰۰ IP	۳ تا ۶ ثانیه

۱. Round-Robin (چرخشی)

پروکسی‌ها به ترتیب از لیست انتخاب می‌شوند. پس از آخرین مورد، دوباره اولی انتخاب می‌شود. ساده‌ترین روش، توزیع یکنواخت را تضمین می‌کند.

۲. تصادفی (Random)

هر بار یک پروکسی تصادفی از مجموعه انتخاب می‌شود. الگوی غیرقابل پیش‌بینی‌تری ایجاد می‌کند که تشخیص آن دشوارتر است.

۳. کمترین اتصالات (Least Connections)

پروکسی با کمترین تعداد اتصال فعال انتخاب می‌شود. برای درخواست‌های موازی ایده‌آل است.

۴. Round-Robin وزن‌دار

پروکسی‌ها بر اساس عملکردشان وزن می‌گیرند. IPهای مسکونی وزن ۳ و IPهای دیتاسنتر وزن ۱ می‌گیرند و بیشتر استفاده می‌شوند.

۵. IP Hash (هش کردن IP)

پروکسی بر اساس هش URL یا دامنه انتخاب می‌شود. تضمین می‌کند که درخواست‌ها به یک دامنه همیشه از یک IP ارسال شوند.

دوره‌های سرد شدن توصیه‌شده:

• مجموعه کوچک (۱۰ تا ۵۰ IP): ۳۰ تا ۶۰ دقیقه بین استفاده مجدد از یک IP
• مجموعه متوسط (۵۰ تا ۲۰۰ IP): ۱۵ تا ۳۰ دقیقه بین استفاده مجدد
• مجموعه بزرگ (بیش از ۲۰۰ IP): ۵ تا ۱۵ دقیقه یا بدون سرد شدن در چرخش در هر درخواست

۱. حالت تهاجمی (Speed-First)

• چرخش در هر درخواست — IP جدید برای هر درخواست
• تأخیرهای حداقل (۰.۵ تا ۱ ثانیه بین درخواست‌ها)
• مجموعه پروکسی بزرگ (۵۰۰+ IP)
• پردازش موازی (۵ تا ۵۰ رشته)

⚠️ ریسک‌ها: احتمال بالای مسدود شدن، عمر کوتاه IP، ممکن است حتی با چرخش، محدودیت نرخ فعال شود.

📊 مناسب برای: وظایف یک‌باره، جمع‌آوری داده‌های عمومی، کار با سایت‌های کم‌تسامح.

۲. حالت متعادل (Balanced)

• چرخش مبتنی بر درخواست — هر ۱۰ تا ۲۰ درخواست
• تأخیرهای متوسط (۲ تا ۵ ثانیه بین درخواست‌ها)
• مجموعه پروکسی متوسط (۱۰۰ تا ۳۰۰ IP)
• موازی‌سازی معتدل (۵ تا ۱۵ رشته)

✅ مزایا: توازن خوب بین سرعت و پایداری، مناسب برای اکثر وظایف.

📊 مناسب برای: نظارت بر قیمت تجارت الکترونیک، اسکرپینگ منظم، پروژه‌های بلندمدت.

۳. حالت محتاطانه (Stealth-First)

• چرخش مبتنی بر زمان — هر ۱۵ تا ۳۰ دقیقه
• تأخیرهای زیاد (۵ تا ۱۵ ثانیه بین درخواست‌ها)
• مجموعه کوچک پروکسی با کیفیت (۵۰ تا ۱۰۰ IP مسکونی)
• موازی‌سازی حداقل (۱ تا ۳ رشته)
• شبیه‌سازی رفتار انسانی (تأخیرهای تصادفی، اقدامات کاربر)

✅ مزایا: حداقل ریسک مسدود شدن، پایداری بلندمدت، شبیه به کاربران واقعی.

📊 مناسب برای: شبکه‌های اجتماعی، سایت‌های بسیار محافظت‌شده، کار با اکانت‌ها، هوش رقابتی.

❌ مشکل ۱: دریافت ۴۲۹ (Too Many Requests) حتی با چرخش

دلایل احتمالی:

• چرخش IP بیش از حد سریع به یک دامنه
• تمام پروکسی‌ها از یک زیرشبکه هستند (قابل تشخیص از طریق ASN)
• User-Agent و سایر هدرها چرخش نمی‌شوند
• دوره سرد شدن بسیار کوتاه است

✅ راه‌حل‌ها:

• افزایش تأخیرها بین درخواست‌ها به ۵ تا ۱۰ ثانیه
• استفاده از پروکسی‌های مسکونی به جای دیتاسنتر
• افزودن چرخش User-Agent، هدرها و اثر انگشت TLS
• افزایش ۳ برابری اندازه مجموعه پروکسی
• افزودن Jitter (انحراف تصادفی) به تأخیرها

❌ مشکل ۲: CAPTCHAهای مداوم هنگام تغییر IP

دلایل احتمالی:

• پروکسی‌های دیتاسنتر با اعتبار پایین
• چرخش بیش از حد تهاجمی باعث سوءظن می‌شود
• استفاده از پروکسی‌های عمومی (رایگان)
• اثر انگشت مرورگر هنگام تغییر IP ثابت می‌ماند

✅ راه‌حل‌ها:

• تغییر به پروکسی‌های مسکونی یا موبایل
• استفاده از سشن‌های چسبنده به جای چرخش مداوم
• ادغام سرویس‌های حل CAPTCHA (2Captcha, AntiCaptcha)
• استفاده از مرورگرهای ضد-دیتکت (Playwright, puppeteer-extra-plugin-stealth)
• گرم کردن پروکسی‌ها قبل از کار اصلی (چند درخواست ساده)

❌ مشکل ۳: از دست دادن سشن هنگام احراز هویت

دلایل احتمالی:

• چرخش IP باعث قطع شدن سشن می‌شود
• کوکی‌ها بین درخواست‌ها ذخیره نمی‌شوند
• سشن چسبنده منقضی شده است

✅ راه‌حل‌ها:

• استفاده از سشن‌های چسبنده با session_id برای درخواست‌های احراز هویت شده
• افزایش مدت زمان سشن چسبنده (۱ تا ۲۴ ساعت)
• ذخیره و استفاده مجدد از کوکی‌ها/توکن‌ها
• رویکرد ترکیبی: چسبنده برای احراز هویت، چرخشی برای جمع‌آوری داده‌ها

❌ مشکل ۴: مصرف سریع مجموعه پروکسی

دلایل احتمالی:

• چرخش تهاجمی در هر درخواست
• مجموعه کوچک برای حجم کار زیاد
• دوره سرد شدن در نظر گرفته نشده است

✅ راه‌حل‌ها:

• تغییر به چرخش دسته‌ای (به جای هر درخواست)
• افزایش مجموعه پروکسی متناسب با حجم کار
• پیاده‌سازی ردیابی cooldown
• استفاده از دروازه پروکسی ارائه‌دهنده

❌ مشکل ۵: سرعت پایین اسکرپینگ

دلایل احتمالی:

• پروکسی‌های کند (پینگ بالا)
• پردازش متوالی به جای موازی
• تأخیرهای زیاد بین درخواست‌ها
• سربار اتصال مجدد هنگام چرخش مکرر

✅ راه‌حل‌ها:

• استفاده از Connection Pooling و Keep-Alive
• پردازش موازی درخواست‌ها (threading/asyncio)
• انتخاب پروکسی با پینگ پایین (فیلتر بر اساس تأخیر)
• کاهش فرکانس چرخش (Burst به جای per-request)
• استفاده از پروکسی‌های سریع‌تر (ISP به جای residential)

معیار	حالت نرمال	مشکل اگر
نرخ موفقیت	> ۹۵٪	< ۸۵٪
نرخ خطای ۴۲۹	< ۲٪	> ۱۰٪
نرخ خطای ۴۰۳/۵۰۳	< ۳٪	> ۱۵٪
نرخ CAPTCHA	< ۱٪	> ۵٪
میانگین زمان پاسخ	< ۳ ثانیه	> ۱۰ ثانیه
نرخ Timeout	< ۱٪	> ۵٪
IPهای منحصربه‌فرد استفاده شده	> ۸۰٪ مجموعه	< ۵۰٪ مجموعه

✅ ۱. همیشه چرخش IP را با سایر تکنیک‌ها ترکیب کنید

چرخش IP تنها یک جزء است. User-Agent، هدرها، کوکی‌ها و شبیه‌سازی رفتار انسانی را نیز بچرخانید.

✅ ۲. برای وظایف حیاتی از پروکسی‌های مسکونی/موبایل استفاده کنید

پروکسی‌های دیتاسنتر ارزان‌ترند اما اعتبار کمتری دارند. برای شبکه‌های اجتماعی، تجارت الکترونیک و سایت‌های بسیار محافظت‌شده، فقط از IPهای مسکونی یا موبایل استفاده کنید.

✅ ۳. پیاده‌سازی کاهش تدریجی (graceful degradation)

در صورت افزایش خطاها، به طور خودکار سرعت را کم کنید، تأخیرها را افزایش دهید و به پروکسی‌های با کیفیت‌تر سوئیچ کنید. انطباق‌پذیری بهتر از پیکربندی ثابت است.

✅ ۴. قبل از مقیاس‌بندی، روی نمونه کوچک تست کنید

قبل از اجرای اسکرپینگ بزرگ، استراتژی را روی ۱۰۰۰ درخواست تست کنید. مطمئن شوید نرخ موفقیت > ۹۵٪ است، مسدود شدن عمده‌ای وجود ندارد و سرعت قابل قبول است.

✅ ۵. به robots.txt و شرایط خدمات احترام بگذارید

اسکرپینگ اخلاقی، ضامن موفقیت بلندمدت است. از robots.txt پیروی کنید، سرورها را بیش از حد بارگذاری نکنید و داده‌های شخصی را بدون رضایت جمع‌آوری نکنید.

✅ ۶. روی پروکسی‌های با کیفیت سرمایه‌گذاری کنید

پروکسی‌های رایگان یا ارزان در بلندمدت گران‌تر تمام می‌شوند: سرعت پایین، مسدود شدن مکرر، از دست رفتن داده‌ها، ریسک‌های امنیتی. از ارائه‌دهندگان معتبر مانند ProxyCove با تضمین آپ‌تایم استفاده کنید.

نکات کلیدی:

1. راه‌حل جهانی وجود ندارد — انتخاب استراتژی به نوع سایت، حجم داده، بودجه و نیازهای سرعت بستگی دارد.
2. سه نوع اصلی چرخش: مبتنی بر زمان (پایداری)، مبتنی بر درخواست (سرعت)، تصادفی (عدم شناسایی) — از ترکیب‌ها استفاده کنید.
3. سشن‌های چسبنده حیاتی هستند برای کار با احراز هویت، سبد خرید و فرآیندهای چند مرحله‌ای. پروکسی‌های چرخشی برای اسکرپینگ انبوه مناسبند.
4. کیفیت بر کمیت ارجح است — ۵۰ IP مسکونی برای اکثر وظایف در سال ۲۰۲۵ بهتر از ۵۰۰ IP دیتاسنتر است.
5. نظارت الزامی است — نرخ موفقیت، کدهای خطا، زمان پاسخ را ردیابی کنید تا بهینه‌سازی به موقع انجام شود.
6. سرعت و عدم شناسایی را متعادل کنید — اسکرپینگ تهاجمی نتایج کوتاه‌مدت می‌دهد، رویکرد محتاطانه پایداری بلندمدت دارد.
7. اتوماسیون از طریق ارائه‌دهنده — از دروازه‌های چرخشی به جای راه‌حل‌های کدنویسی شده استفاده کنید تا در زمان صرفه‌جویی شود.
8. انعطاف‌پذیری > ثبات — استراتژی شما باید با تکامل سیستم‌های امنیتی سازگار شود.

📋 چک لیست قبل از اجرای اسکرپینگ:

💼 برای کسب‌وکارها:

اگر کسب‌وکار شما به وب اسکرپینگ وابسته است (نظارت بر قیمت، هوش رقابتی، تولید لید)، در زیرساخت پروکسی صرفه‌جویی نکنید. هزینه توقف کار یا مسدود شدن چندین برابر بیشتر از هزینه پروکسی‌های با کیفیت و چرخش صحیح است.

🎓 برای توسعه‌دهندگان:

یک بار برای نوشتن سیستم چرخش قوی سرمایه‌گذاری کنید، نه اینکه دائماً مشکلات مسدود شدن را حل کنید. از کتابخانه‌های آماده استفاده کنید، معیارها را ثبت کنید و استراتژی‌های مختلف را بیازمایید. اتوماسیون بارها خود را توجیه خواهد کرد.