كيفية تجنب الحظر عند إجراء طلبات متكررة على واجهة برمجة التطبيقات لـ Wildberries وOzon وAvito

إذا كنت تقوم بمراقبة أسعار المنافسين، أو زحف مخزونات المنتجات، أو نشر الإعلانات تلقائيًا على الأسواق — فمن المؤكد أنك واجهت حظرًا. واجهات برمجة التطبيقات لـ Wildberries و Ozon و Yandex.Market و Avito تحمي نفسها بنشاط من الأتمتة: تحد من عدد الطلبات، وتحظر عناوين IP، وتطلب CAPTCHA. في هذا الدليل، سنحلل لماذا تحدث عمليات الحظر وكيفية إعداد الزاحف للعمل بشكل مستقر لعدة أشهر بدون حظر.

لماذا تقوم الأسواق بحظر الطلبات المتكررة على واجهات برمجة التطبيقات

تنفق الأسواق أموالًا طائلة على دعم البنية التحتية — الخوادم، قواعد البيانات، CDN. عندما تقوم بإجراء آلاف الطلبات في الدقيقة لزحف الأسعار، فإنك تخلق حملًا إضافيًا على أنظمتها. ولكن السبب الرئيسي وراء عمليات الحظر ليس تقنيًا، بل موجهًا نحو الأعمال.

الأسباب الرئيسية للحظر:

• حماية البيانات التنافسية. لا تريد Wildberries و Ozon أن يحصل المنافسون بسهولة على معلومات حول الأسعار والمخزونات والمنتجات الشائعة. هذه البيانات هي أسرار تجارية.
• تقليل الحمل على الخوادم. يمكن أن يولد زاحف واحد عددًا من الطلبات يعادل 10,000 مشتري عادي. هذا يزيد من تكاليف الاستضافة.
• مكافحة التلاعب والبريد العشوائي. تستخدم الأنظمة الآلية للتلاعب بالمرات، والتعليقات، والنشر الجماعي للإعلانات على Avito.
• تحقيق الدخل من واجهات برمجة التطبيقات. تقدم بعض الأسواق واجهات برمجة تطبيقات مدفوعة رسمية مع حدود. من خلال حظر الزحف المجاني، فإنهم يحفزون شراء الوصول.

على سبيل المثال، إذا كنت تراقب أسعار 5000 منتج كل ساعة — فهذا يعني 120,000 طلب يوميًا. من عنوان IP واحد، يبدو هذا مريبًا، وسرعان ما سيحظر نظام حماية السوق وصولك.

ما هي طرق الحماية التي تستخدمها Wildberries و Ozon و Avito

تستخدم الأسواق الحديثة حماية متعددة المستويات ضد الزحف. سيساعدك فهم هذه الآليات على إعداد تجاوزات الحظر بشكل صحيح.

Wildberries تستخدم حماية عدوانية: حد حوالي 200-300 طلب في الساعة من عنوان IP واحد، والتحقق من User-Agent وتحديات JavaScript. عند تجاوز الحد، ستحصل على HTTP 429 (طلبات كثيرة جدًا) أو 403 (ممنوع).

Ozon أكثر تساهلاً مع الزحف عبر واجهة برمجة التطبيقات، ولكنها تحظر بنشاط عناوين IP من مراكز البيانات. يستخدمون خدمات تحديد نوع IP (مركز البيانات مقابل السكني)، لذلك غالبًا ما لا تعمل البروكسيات العادية.

Avito تحمي واجهة برمجة التطبيقات من النشر الجماعي للإعلانات وزحف جهات الاتصال. هنا، الربط الجغرافي مهم: إذا كنت تنشر إعلانًا في قازان، يجب أن يكون IP من قازان، وإلا ستقوم المراجعة بحظر النشر.

تحديد معدل الطلبات: كيفية إعداد التأخيرات بين الطلبات بشكل صحيح

تحديد معدل الطلبات — هو تحديد اصطناعي لسرعة الطلبات، بحيث تبدو نشاطك كأفعال مستخدم عادي. القاعدة الرئيسية: من الأفضل أن تكون بطيئًا ولكن مستقرًا، بدلاً من أن تكون سريعًا مع حظر.

الإعدادات الموصى بها للأسواق الشائعة:

كيفية تنفيذ التأخيرات العشوائية: لا تستخدم فترات ثابتة مثل "بالضبط 3 ثوانٍ" — فهذا يبدو كروبوت. أضف العشوائية: من 2 إلى 5 ثوانٍ. تدعم معظم الزواحف ذلك من خلال الإعدادات.

على سبيل المثال، في Python مع مكتبة requests، يبدو الأمر كالتالي:

import time
import random
import requests

def make_request(url, proxies):
    response = requests.get(url, proxies=proxies)
    # تأخير عشوائي من 2 إلى 5 ثوانٍ
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)
    return response

# مثال على الاستخدام
proxy = {
    'http': 'http://username:password@proxy.example.com:8000',
    'https': 'http://username:password@proxy.example.com:8000'
}

for product_id in product_list:
    url = f'https://card.wb.ru/cards/detail?nm={product_id}'
    response = make_request(url, proxy)
    # معالجة البيانات...

نقطة مهمة: بعد كل 100-200 طلب، قم بأخذ استراحة طويلة (10-20 دقيقة) أو تغيير IP. هذا يحاكي سلوك الإنسان الذي يتصفح المنتجات ثم ينشغل بأمور أخرى.

تدوير البروكسي لتوزيع الحمل

حتى مع التأخيرات الصحيحة، لن يتحمل عنوان IP واحد الحمل لفترة طويلة. الحل هو تدوير البروكسي: توزيع الطلبات بين العديد من عناوين IP. هذه هي أساس الزحف المستقر للأسواق.

أنواع البروكسيات لزحف الأسواق:

لزحف Wildberries و Ozon، نوصي باستخدام البروكسيات السكنية — حيث تحتوي على IP لمستخدمين حقيقيين في المنازل، لذلك لا تستطيع الأسواق تمييزها عن المشترين العاديين. البروكسيات من مراكز البيانات تعمل بشكل سيء هنا: Ozon و Wildberries تحتفظ بقوائم سوداء لتلك العناوين.

استراتيجيات تدوير البروكسي:

• تدوير بعد N طلبات. قم بتغيير IP بعد كل 100-300 طلب. هذه هي التوازن الأمثل بين الكفاءة والأمان.
• تدوير حسب الوقت. قم بتغيير IP كل 30-60 دقيقة. مناسب لجلسات الزحف الطويلة.
• الجلسات الثابتة. استخدم IP واحد لجميع الطلبات لمنتج/فئة معينة، ثم قم بالتغيير. هذا يقلل من الشكوك.
• الربط الجغرافي. إلزامي لـ Avito: قم بزحف إعلانات موسكو عبر IP موسكو، وقازان — عبر IP قازان.

تقدم معظم مزودي البروكسيات السكنية تدويرًا تلقائيًا: تحصل على نقطة نهاية واحدة، ويتغير IP تلقائيًا بتردد محدد أو بعد كل طلب. هذا يبسط إعداد الزاحف.

مثال على إعداد مجموعة البروكسيات في Python:

import requests
import random

# قائمة البروكسيات (يمكن تحميلها من ملف)
proxy_list = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
    # ... 50-100 بروكسي آخر
]

def get_random_proxy():
    proxy = random.choice(proxy_list)
    return {
        'http': proxy,
        'https': proxy
    }

# الاستخدام
for product_id in product_list:
    proxy = get_random_proxy()  # بروكسي عشوائي لكل طلب
    response = requests.get(url, proxies=proxy)
    # معالجة...

إعداد الرؤوس و fingerprint لمحاكاة المتصفح

تقوم الأسواق بتحليل ليس فقط IP وتكرار الطلبات، ولكن أيضًا رؤوس HTTP. إذا كان زاحفك يرسل طلبات برؤوس افتراضية لمكتبة (مثل python-requests/2.28.0)، فإنه يتم التعرف عليه على الفور كروبوت.

الرؤوس المطلوبة لمحاكاة المتصفح:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Cache-Control': 'max-age=0',
    'Referer': 'https://www.google.com/'
}

نقاط مهمة:

• يجب أن يتوافق User-Agent مع متصفح حقيقي. استخدم إصدارات حديثة من Chrome و Firefox و Safari. قم بتغيير User-Agent كل 100-200 طلب.
• يجب أن يتوافق Accept-Language مع جغرافيا البروكسي. إذا كنت تستخدم IP روسي — ضع ru-RU، للإصدارات الأوكرانية — uk-UA.
• يظهر Referer من أين جاء المستخدم. استخدم Google/Yandex للطلب الأول، وللطلبات اللاحقة — الصفحات الداخلية للسوق.
• تضيف رؤوس Sec-Fetch-* واقعية. ترسلها المتصفحات الحديثة تلقائيًا.

TLS Fingerprinting: تقوم أنظمة الحماية المتقدمة (Ozon و Wildberries) بتحليل معلمات اتصال TLS: ترتيب مجموعات التشفير، الامتدادات، إصدار البروتوكول. المكتبات القياسية في Python/Node.js لديها fingerprint مختلف عن المتصفحات.

الحل هو استخدام مكتبات متخصصة:

• curl-impersonate (Python) — تحاكي TLS fingerprint لـ Chrome/Firefox
• tls-client (Go، Python bindings) — TLS fingerprint قابل للتعديل
• Playwright / Puppeteer — متصفحات headless مع TLS حقيقي

لمعظم مهام زحف الأسواق، تكفي الرؤوس الصحيحة لـ HTTP والبروكسيات السكنية. TLS fingerprinting حاسم فقط عند العمل مع واجهات برمجة التطبيقات الأكثر حماية.

واجهة برمجة التطبيقات مقابل الزحف على الويب: ما هو الأكثر أمانًا للزحف

لدى الأسواق طريقتان للحصول على البيانات: واجهة برمجة التطبيقات الرسمية وزحف صفحات HTML (الزحف على الويب). أيهما تختار للعمل المستقر؟

توصيات للاختيار:

• استخدم واجهة برمجة التطبيقات الرسمية إذا: كنت بحاجة إلى كميات صغيرة من البيانات (حتى 10,000 منتج في اليوم)، كنت مستعدًا للدفع مقابل الوصول، كانت الشرعية والاستقرار مهمين.
• استخدم الزحف على الويب إذا: كنت بحاجة إلى كميات كبيرة من البيانات، ولم توفر واجهة برمجة التطبيقات الرسمية المعلومات المطلوبة (مثل أسعار المنافسين)، كان لديك ميزانية محدودة.

النهج الهجين: يقوم العديد من الزواحف المحترفة بدمج كلا الطريقتين. على سبيل المثال، يحصلون على قائمة المنتجات عبر واجهة برمجة التطبيقات (بسرعة وشرعية)، ثم يزحفون للحصول على معلومات تفصيلية حول الأسعار والمخزونات من صفحات HTML (مزيد من البيانات).

واجهات برمجة التطبيقات الداخلية للأسواق: بالإضافة إلى واجهة برمجة التطبيقات الرسمية، تستخدم الأسواق واجهات برمجة التطبيقات الداخلية لتشغيل الموقع. على سبيل المثال، تقوم Wildberries بتحميل بيانات المنتجات عبر https://card.wb.ru/cards/detail. هذه النقاط النهائية غير موثقة، ولكنها تعمل بشكل أسرع من زحف HTML. العيب — يمكن أن تتغير دون إشعار.

إعداد الزواحف والأدوات الشائعة

يستخدم معظم البائعين والمسوقين أدوات جاهزة لزحف الأسواق. دعونا نستعرض كيفية إعداد البروكسي والحدود بشكل صحيح في الحلول الشائعة.

إعداد Scrapy (إطار عمل Python)

Scrapy — إطار عمل شائع للزحف على الويب. للعمل مع الأسواق، أضف إلى settings.py:

# تأخيرات بين الطلبات
DOWNLOAD_DELAY = 3  # 3 ثوانٍ
RANDOMIZE_DOWNLOAD_DELAY = True  # عشوائية من 0.5*DELAY إلى 1.5*DELAY

# حدود الطلبات المتزامنة
CONCURRENT_REQUESTS = 8
CONCURRENT_REQUESTS_PER_DOMAIN = 2

# إعداد البروكسي (عبر middleware rotating-proxies)
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    # ... قائمة البروكسيات
]

# تدوير User-Agent
USER_AGENT_LIST = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/537.36',
    # ... قائمة User-Agent
]

# محاولات إعادة عند الأخطاء
RETRY_TIMES = 3
RETRY_HTTP_CODES = [429, 500, 502, 503, 504]

إعداد Octoparse (زاحف بصري بدون كود)

Octoparse — أداة شائعة للزحف بدون برمجة. إعداد البروكسي والحدود:

1. افتح إعدادات المهمة → خيارات متقدمة
2. في قسم "الشبكة"، قم بتفعيل "استخدام خادم البروكسي"
3. أضف قائمة البروكسيات بتنسيق IP:PORT:USER:PASS
4. قم بتفعيل "تدوير IP لكل طلب" للتدوير التلقائي
5. في قسم "السرعة"، حدد "بطيء" أو "مخصص" مع تأخير 3-5 ثوانٍ
6. قم بتفعيل "تأخير عشوائي" لمحاكاة سلوك الإنسان

إعداد Selenium (أتمتة المتصفح)

يدير Selenium متصفحًا حقيقيًا، لذا يتجاوز العديد من الحمايات. مثال على الإعداد مع البروكسي:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import random

# إعداد Chrome مع البروكسي
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://user:pass@proxy.example.com:8000')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)

# إخفاء WebDriver
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# الزحف مع التأخيرات
urls = ['https://www.wildberries.ru/catalog/...', ...]

for url in urls:
    driver.get(url)
    # تأخير عشوائي من 3 إلى 7 ثوانٍ
    time.sleep(random.uniform(3, 7))
    
    # التمرير لمحاكاة القراءة
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);")
    time.sleep(random.uniform(1, 3))
    
    # زحف البيانات
    # ...

خدمات الزحف الجاهزة للأسواق

إذا كنت لا ترغب في إعداد الزاحف بنفسك، استخدم خدمات متخصصة:

• Mpstats.io — تحليلات Wildberries و Ozon، مراقبة تلقائية للأسعار والمبيعات
• SellerFox — مراقبة المنافسين في الأسواق، تتبع المخزونات
• Moneyplace — زحف Avito، نشر الإعلانات تلقائيًا
• Parsehub — زاحف بصري لأي مواقع، بما في ذلك الأسواق

لقد قامت هذه الخدمات بالفعل بإعداد البروكسيات والحدود وتجاوز الحمايات — كل ما عليك هو تحديد ما تريد زحفه. العيب — اشتراك شهري يبدأ من 2000₽.

مراقبة الحظر ورد الفعل التلقائي

حتى مع الإعدادات الصحيحة، قد تحدث عمليات حظر: تقوم الأسواق بتحديث الحماية، وتدخل البروكسيات قوائم الحظر، وتتغير الحدود. من المهم تتبع المشكلات والرد تلقائيًا.

علامات الحظر التي يجب تتبعها:

• HTTP 429 (طلبات كثيرة جدًا) — تجاوز حد الطلبات، تحتاج إلى استراحة أو تغيير IP
• HTTP 403 (ممنوع) — تم حظر IP، تحتاج إلى تدوير البروكسي على الفور
• HTTP 503 (الخدمة غير متاحة) — تحميل مؤقت أو حماية من DDoS
• CAPTCHA في الرد — تم اكتشاف الأتمتة، يجب تقليل النشاط
• ردود فارغة أو إعادة توجيه إلى الصفحة الرئيسية — حظر ناعم
• زيادة حادة في وقت الاستجابة — قد يكون هناك تحديد معدل على جانب الخادم

رد الفعل التلقائي على الحظر (مثال في Python):

import requests
import time
from datetime import datetime

class SmartParser:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
        self.current_proxy_index = 0
        self.request_count = 0
        self.blocked_proxies = set()
        
    def get_next_proxy(self):
        # تخطي البروكسيات المحظورة
        while self.current_proxy_index in self.blocked_proxies:
            self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        
        proxy = self.proxy_list[self.current_proxy_index]
        return {'http': proxy, 'https': proxy}
    
    def rotate_proxy(self):
        self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        self.request_count = 0
        
    def make_request(self, url):
        max_retries = 3
        
        for attempt in range(max_retries):
            try:
                proxy = self.get_next_proxy()
                response = requests.get(url, proxies=proxy, timeout=10)
                
                # تحقق من الحظر
                if response.status_code == 429:
                    print(f"[{datetime.now()}] حد الطلبات! استراحة 60 ثانية...")
                    time.sleep(60)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 403:
                    print(f"[{datetime.now()}] تم حظر IP! تدوير البروكسي...")
                    self.blocked_proxies.add(self.current_proxy_index)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 503:
                    print(f"[{datetime.now()}] الخادم محمّل. استراحة 120 ثانية...")
                    time.sleep(120)
                    continue
                
                # طلب ناجح
                self.request_count += 1
                
                # تدوير بعد 200 طلب
                if self.request_count >= 200:
                    self.rotate_proxy()
                    time.sleep(10)  # استراحة بعد التدوير
                
                return response
                
            except requests.exceptions.Timeout:
                print(f"[{datetime.now()}] مهلة. محاولة {attempt + 1}/{max_retries}")
                time.sleep(5)
                
        return None  # تم استنفاد جميع المحاولات

التسجيل والتنبيهات: قم بإعداد إشعارات عند الأحداث الحرجة. على سبيل المثال، أرسل رسالة إلى Telegram عندما:

• تم حظر أكثر من 30% من البروكسيات من المجموعة
• انخفضت نسبة الطلبات الناجحة إلى أقل من 80%
• لم يحصل الزاحف على بيانات لأكثر من 30 دقيقة
• تم اكتشاف CAPTCHA في الردود

المقاييس للمراقبة:

استخدم لوحات المعلومات لتصور المقاييس: Grafana و Datadog أو جداول بيانات Google بسيطة مع تحديث تلقائي عبر واجهة برمجة التطبيقات.

الخاتمة

الحظر عند الزحف على الأسواق ليس عقبة، بل مهمة يمكن حلها من خلال الإعداد الصحيح للأدوات. النقاط الرئيسية للعمل المستقر بدون حظر:

• استخدم البروكسيات السكنية لـ Wildberries و Ozon و Avito — البروكسيات من مراكز البيانات لا تعمل هنا
• قم بإعداد تأخيرات عشوائية من 2-5 ثوانٍ بين الطلبات
• قم بتدوير IP بعد كل 150-300 طلب أو كل 30-60 دقيقة
• استخدم رؤوس HTTP واقعية مع User-Agent حديث
• راقب الحظر ورد تلقائيًا عليها
• للـ Avito، الربط الجغرافي لعنوان IP مع المدينة للإعلان إلزامي

يمكن أن يعمل الزاحف المعد بشكل صحيح مع بروكسيات عالية الجودة لعدة أشهر بدون أي حظر، جامعًا عشرات الآلاف من المنتجات يوميًا. الأهم هو عدم السعي وراء السرعة، بل محاكاة سلوك المستخدم العادي.

إذا كنت تخطط لزحف Wildberries أو Ozon أو Avito بانتظام، نوصي باستخدام البروكسيات السكنية مع تدوير تلقائي — فهي توفر أقصى درجات الاستقرار وأقل خطر للحظر. لمهام تتطلب IP المحمول (مثل تجاوز الحظر الصارم لـ Avito)، ستناسبك البروكسيات المحمولة مع IP لمشغلي الهواتف الروس.