← بازگشت به وبلاگ

۵ روش API پروکسی‌ساز که بدون آن‌ها اتوماسیون پارسینگ کار نمی‌کند

فقط دریافت نام کاربری و رمز عبور از پروکسی برای اتوماسیون کافی نیست. به بررسی روش‌های API ضروری برای پارسینگ، چندحسابداری و نظارت بر قیمت‌ها می‌پردازیم.

📅۸ مهر ۱۴۰۵

بسیاری از توسعه‌دهندگان و متخصصان فنی، زمانی که شروع به اتوماسیون پارس کردن بازارها یا چندحسابی می‌کنند، پروکسی خریداری می‌کنند، نام کاربری و رمز عبور دریافت می‌کنند — و در اینجا متوقف می‌شوند. پس از یک هفته مشخص می‌شود که IPها به صورت گروهی مسدود می‌شوند، نشست‌ها قطع می‌شوند و چرخش به طور غیرقابل پیش‌بینی انجام می‌شود. مشکل در خود پروکسی‌ها نیست، بلکه در این است که بدون روش‌های صحیح API، پروکسی‌ها به یک جعبه سیاه تبدیل می‌شوند که نمی‌توان به صورت برنامه‌نویسی بر آنها کنترل داشت.

چرا فقط «خرید پروکسی» کافی نیست

وقتی که وظیفه این است که به صورت دستی وارد سایت شوید از طریق یک پروکسی، کافی است نام کاربری و رمز عبور را در تنظیمات مرورگر وارد کنید. اما اتوماسیون — داستان دیگری است. اگر شما یک اسکریپت برای پارس کردن Wildberries، Ozon یا Avito می‌نویسید، چندحسابی را برای یک آژانس SMM از طریق Dolphin Anty یا AdsPower راه‌اندازی می‌کنید، یا تبلیغات را در Facebook Ads و TikTok Ads از مناطق مختلف آزمایش می‌کنید — شما نیاز دارید که کد به طور خودکار پروکسی را مدیریت کند: IP را تغییر دهد، کشور را انتخاب کند، نشست را به مدت لازم نگه دارد و بر محدودیت‌های ترافیک نظارت کند.

در اینجا API ارائه‌دهنده پروکسی وارد عمل می‌شود. این فقط یک endpoint برای دریافت لیست سرورها نیست — این مجموعه‌ای از روش‌ها است که از طریق آنها اسکریپت شما رفتار پروکسی را در زمان واقعی مدیریت می‌کند. اگر ارائه‌دهنده فقط یک لیست ثابت از IPها بدون API برای مدیریت چرخش، هدف‌گذاری جغرافیایی و نشست‌ها ارائه دهد، اتوماسیون به یک تنظیم دستی دائمی تبدیل می‌شود. بیایید 5 روش را بررسی کنیم که بدون آنها هر اتوماسیون جدی محکوم به مسدود شدن و توقف است.

روش 1: چرخش برنامه‌نویسی IP

چرخش — یک مکانیزم پایه‌ای است، اما مهم است که از کد قابل مدیریت باشد، نه اینکه «در پنل ارائه‌دهنده جاسازی شده باشد». یک API خوب حداقل دو حالت را ارائه می‌دهد: چرخش خودکار (IP در هر درخواست جدید یا هر N دقیقه تغییر می‌کند) و چرخش به درخواست (درخواست IP جدید از طریق یک فراخوانی API جداگانه).

برای پارس کردن Ozon یا Wildberries، به چرخش به درخواست نیاز است — شما 5-10 درخواست را از طریق یک IP ارسال می‌کنید، یک CAPTCHA یا مسدود شدن دریافت می‌کنید و بلافاصله روش چرخش را فراخوانی می‌کنید تا یک خروجی جدید بدون ایجاد مجدد کل نشست دریافت کنید.

curl -x http://user-session-rotate:[email protected]:8000 https://api.ipify.org

# تغییر IP از طریق پارامتر session در نام کاربری
curl -x http://user-session-a1b2c3:[email protected]:8000 https://api.ipify.org
curl -x http://user-session-x9y8z7:[email protected]:8000 https://api.ipify.org

در این مثال، تغییر شناسه نشست در نام کاربری پروکسی به طور مؤثری فراخوانی یک endpoint API جداگانه را جایگزین می‌کند — اما ارائه‌دهنده باید این مکانیزم را مستند کند. بدون آن، چرخش «زمانی که سرور تصمیم بگیرد» انجام می‌شود، نه زمانی که اسکریپت شما تصمیم می‌گیرد، که برای پارس کردن با فرکانس بالای درخواست‌ها بحرانی است.

روش 2: هدف‌گذاری جغرافیایی بر اساس کشور و شهر

برای آربیتراژها که تبلیغات را در Facebook Ads و Google Ads از مناطق مختلف آزمایش می‌کنند و برای بازاریابانی که نتایج محلی Yandex.Direct را بررسی می‌کنند، بدون هدف‌گذاری جغرافیایی دقیق از طریق API، اتوماسیون بی‌معنا است. این روش باید اجازه دهد که کشور را مشخص کنید و در ایده‌آل — شهر یا حتی اپراتور تلفن برای پروکسی‌های موبایل، مستقیماً در پارامترهای درخواست یا نام کاربری.

import requests

proxy = {
    "http": "http://user-country-de-city-berlin:[email protected]:8000",
    "https": "http://user-country-de-city-berlin:[email protected]:8000"
}

response = requests.get("https://api.ipify.org?format=json", proxies=proxy)
print(response.json())

این رویکرد ساعت‌ها را در تنظیمات صرفه‌جویی می‌کند — به جای انتخاب دستی سرور در پنل، اسکریپت به طور خودکار کشور مورد نیاز را برای هر حساب یا جریان پارس کردن وارد می‌کند. برای وظایف با دقت جغرافیایی معمولاً از پروکسی‌های مسکونی استفاده می‌شود — آنها پوشش وسیع‌تری از شهرها و ارائه‌دهندگان تلفن نسبت به پروکسی‌های مرکز داده دارند.

روش 3: نشست‌های چسبنده — مدیریت پیوند IP

برای چندحسابی در Instagram، TikTok و هنگام کار با مرورگرهای ضد شناسایی (Dolphin Anty، GoLogin، Multilogin، Octo Browser) بسیار مهم است که یک حساب کاربری همیشه از طریق یک IP ثابت در طول نشست وارد شود — و گاهی اوقات حتی به مدت چند روز. این به عنوان نشست چسبنده شناخته می‌شود و بدون مدیریت مدت زمان آن از طریق API، شما یا تغییر IP بسیار مکرر (پلتفرم «پرش‌ها» را می‌بیند و مسدود می‌کند) یا گیر کردن در یک آدرس برای همیشه را دریافت می‌کنید.

یک API خوب اجازه می‌دهد که زمان عمر نشست را مشخص کنید — از 1 دقیقه تا 24 ساعت و بیشتر — از طریق پارامتر در رشته اتصال:

# نشست به مدت 30 دقیقه حفظ می‌شود
user-session-abc123-sessTime-30:[email protected]:8000

# نشست به مدت 24 ساعت حفظ می‌شود — مناسب برای گرم کردن طولانی مدت حساب
user-session-abc123-sessTime-1440:[email protected]:8000

برای یک آژانس SMM که 30-50 حساب کاربری مشتری را مدیریت می‌کند، این تنها راه تضمین این است که هر پروفایل در مرورگر ضد شناسایی به IP خود بدون تداخل متصل باشد — که برای جلوگیری از مسدود شدن زنجیره‌ای بحرانی است.

روش 4: لیست سفید و احراز هویت دینامیک

اگر اتوماسیون از سرورهایی با IP متغیر (مانند توابع ابری AWS Lambda یا VPSهای دینامیک) راه‌اندازی شود، احراز هویت با نام کاربری و رمز عبور همیشه راحت نیست — باید اسرار را در کد ذخیره کنید. برخی از ارائه‌دهندگان یک روش احراز هویت بر اساس IP از طریق API لیست سفید ارائه می‌دهند: شما با یک فراخوانی، IP فعلی سرور را به لیست مجاز اضافه می‌کنید، بدون اینکه در هر درخواست رمز عبور را ارسال کنید.

curl -X POST "https://api.proxycove.com/v1/whitelist" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{"ip": "203.0.113.25"}'

این به ویژه برای اتوماسیون تجارت الکترونیک مهم است، جایی که اسکریپت نظارت بر قیمت‌ها در Wildberries یا Ozon بر اساس زمان‌بندی (cron) در سروری با IP ثابت یا چرخشی اجرا می‌شود — لیست سفید نیاز به هاردکد کردن اطلاعات حساب را از بین می‌برد و خطر نشت دسترسی را در صورت نفوذ به کد کاهش می‌دهد.

روش 5: آمار، محدودیت‌ها و نظارت بر ترافیک

اتوماسیون بدون کنترل مصرف ترافیک — این خطر را دارد که ناگهان به محدودیت برخورد کند در وسط پارس کردن یا کمپین تبلیغاتی. یک API مفید از ارائه‌دهنده پروکسی باید یک روش برای دریافت آمار ارائه دهد: چقدر ترافیک مصرف شده، چقدر باقی مانده، و چند درخواست در یک دوره انجام شده است.

import requests

headers = {"Authorization": "Bearer YOUR_API_KEY"}
resp = requests.get("https://api.proxycove.com/v1/usage", headers=headers)
data = resp.json()

print(f"مصرف شده: {data['used_gb']} GB")
print(f"باقی‌مانده: {data['remaining_gb']} GB")

بر اساس این داده‌ها، اسکریپت می‌تواند به طور خودکار وظایف پارس کردن را در نزدیکی محدودیت متوقف کند یا به یک مجموعه IP پشتیبان سوئیچ کند — این از وضعیت جلوگیری می‌کند که نظارت بر قیمت‌های رقبا در بازارها ناگهان در وسط روز بدون هشدار متوقف شود.

مقایسه انواع پروکسی برای اتوماسیون API

نوع پروکسی پشتیبانی از روش‌های API بهترین برای
پروکسی‌های مسکونی چرخش، جغرافیا بر اساس شهر، نشست‌های چسبنده پارس کردن بازارها، چندحسابی
پروکسی‌های موبایل چرخش، نشست‌های چسبنده، جغرافیا بر اساس اپراتور Facebook Ads، TikTok Ads، Instagram
پروکسی‌های مرکز داده لیست سفید، آمار، چرخش سریع پارس کردن انبوه بدون نیاز به جغرافیا

مثال عملی ادغام در Python

در زیر — یک مثال ساده از اسکریپتی که چندین روش را ترکیب می‌کند: چرخش به درخواست، بررسی آمار ترافیک و پردازش خطای مسدود شدن. این رویکرد معمولاً در اسکریپت‌های نظارت بر قیمت‌ها در Ozon یا Wildberries استفاده می‌شود.

import requests
import random
import string

def get_session_id():
    return ''.join(random.choices(string.ascii_lowercase + string.digits, k=8))

def make_request(url, country="ru"):
    session_id = get_session_id()
    proxy_url = f"http://user-country-{country}-session-{session_id}:[email protected]:8000"
    proxies = {"http": proxy_url, "https": proxy_url}

    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        if response.status_code == 429 or "captcha" in response.text.lower():
            print("مسدود شدن شناسایی شد، تغییر IP...")
            return make_request(url, country)
        return response
    except requests.exceptions.RequestException as e:
        print(f"خطای درخواست: {e}")
        return None

def check_traffic():
    headers = {"Authorization": "Bearer YOUR_API_KEY"}
    resp = requests.get("https://api.proxycove.com/v1/usage", headers=headers)
    return resp.json()

if __name__ == "__main__":
    usage = check_traffic()
    if usage["remaining_gb"] < 1:
        print("ترافیک تقریباً تمام شده است، توقف وظیفه")
    else:
        result = make_request("https://www.wildberries.ru/catalog/some-item")
        print(result.status_code if result else "هیچ پاسخی وجود ندارد")

در این کد، سه روش از پنج روش پیاده‌سازی شده است: چرخش به درخواست (تولید یک session_id جدید در هر فراخوانی)، هدف‌گذاری جغرافیایی (پارامتر country) و بررسی محدودیت‌های ترافیک قبل از شروع وظیفه. با اضافه کردن نشست‌های چسبنده و لیست سفید، اتوماسیون کاملاً قابل مدیریت می‌شود.

خطاهای رایج در کار با پروکسی API

  • نادیده گرفتن timeout. بدون تایم‌اوت، اسکریپت ممکن است بر روی یک IP «مرده» برای دقایق بماند، به جای چرخش فوری.
  • عدم پردازش کد 407/429. بسیاری فراموش می‌کنند که کدهای خاص خطاهای احراز هویت پروکسی و مسدود شدن را بررسی کنند و فقط 200 و 404 را پردازش می‌کنند.
  • چرخش بسیار مکرر برای چندحسابی. اگر هر درخواست از طریق یک IP جدید انجام شود هنگام کار با Instagram یا TikTok، پلتفرم رفتار غیرعادی را می‌بیند و حساب را سریع‌تر از زمانی که از یک IP «خانگی» استفاده می‌شود، مسدود می‌کند.
  • هاردکد کردن اطلاعات حساب در کد. به جای لیست سفید بر اساس IP، توسعه‌دهندگان معمولاً نام کاربری و رمز عبور را مستقیماً در مخزن جاسازی می‌کنند که خطر نشت را در صورت نفوذ به کد ایجاد می‌کند.
  • عدم نظارت بر محدودیت‌ها. وظیفه پارس کردن در وسط روز به دلیل ترافیک تمام شده متوقف می‌شود و فقط روز بعد از طریق لاگ‌ها متوجه می‌شوند.

نتیجه‌گیری

API ارائه‌دهنده پروکسی به اندازه‌ای مفید است که کنترل بر رفتار پروکسی را در کد فراهم کند: چرخش IP، هدف‌گذاری جغرافیایی دقیق، مدت زمان نشست‌ها، احراز هویت انعطاف‌پذیر از طریق لیست سفید و آمار شفاف مصرف ترافیک. بدون این پنج روش، حتی بزرگ‌ترین مجموعه IPها به یک لیست ثابت تبدیل می‌شود که باید در هر تغییر وظیفه به صورت دستی تنظیم شود.

اگر شما اتوماسیون پارس کردن بازارها، نظارت بر قیمت‌های رقبا یا چندحسابی برای SMM و آربیتراژ را انجام می‌دهید، به این نکته توجه کنید که آیا ارائه‌دهنده این روش‌ها را «از جعبه» پشتیبانی می‌کند یا خیر. برای وظایفی با نیازهای بالا به دقت جغرافیایی و طبیعی بودن ترافیک، پروکسی‌های مسکونی بسیار مناسب هستند و برای پنل‌های تبلیغاتی Facebook Ads و TikTok Ads — پروکسی‌های موبایل با پشتیبانی از نشست‌های چسبنده و چرخش بر اساس اپراتور تلفن.