پروکسی برای پارسینگ اوزون: جمع‌آوری قیمت‌ها، کالاها و نظرات بدون مسدودیت‌ها

Ozon — یکی از امن‌ترین بازارهای اینترنتی در روسیه است: سیستم‌های ضد ربات، کپچا، محدودیت‌های درخواست و مسدودیت‌های IP جمع‌آوری خودکار داده‌ها را به یک چالش واقعی تبدیل می‌کند. اگر شما قیمت‌های رقبای خود را زیر نظر دارید، تنوع محصولات را تحلیل می‌کنید یا نظرات را برای تحلیل جمع‌آوری می‌کنید — بدون پروکسی‌های به‌خوبی تنظیم‌شده، پارسر شما در عرض چند دقیقه مسدود خواهد شد. در این راهنما بررسی می‌کنیم که کدام پروکسی‌ها برای Ozon مناسب هستند، چگونه آن‌ها را به‌درستی تنظیم کنیم و چه اشتباهاتی پروژه‌های جمع‌آوری داده‌ها را نابود می‌کند.

چرا Ozon پارسینگ را مسدود می‌کند: چگونه حفاظت کار می‌کند

قبل از تنظیم پروکسی، مهم است که بفهمید با چه چیزی روبرو خواهید شد. Ozon از یک سیستم چندلایه حفاظت در برابر درخواست‌های خودکار استفاده می‌کند و هر عنصر آن باید در ساخت پارسر در نظر گرفته شود.

محدودیت نرخ — محدودیت فرکانس درخواست‌ها

اگر از یک آدرس IP بیش از 30–50 درخواست در دقیقه ارسال شود، Ozon شروع به بازگرداندن خطای 429 (بیش از حد درخواست) می‌کند یا IP را به‌طور کامل مسدود می‌کند. برای یک کاربر عادی چنین فرکانس درخواست‌هایی وجود ندارد — بنابراین، این یک ربات است. به همین دلیل، یک سرور پروکسی کافی نیست: به یک مجموعه از ده‌ها یا صدها آدرس IP با چرخش نیاز دارید.

تحلیل User-Agent و هدرهای HTTP

سیستم Ozon هدرهای هر درخواست را بررسی می‌کند. اگر User-Agent به‌نظر برسد که مانند یک اسکریپت است (به‌عنوان مثال، python-requests/2.28)، درخواست به‌طور آنی مسدود خواهد شد. باید هدرهای یک مرورگر واقعی را تقلید کنید: User-Agent صحیح، Accept-Language، Accept-Encoding، Referer.

اثر انگشت‌گذاری مرورگر

در صفحات Ozon جاوا اسکریپت کار می‌کند که اثر انگشت مرورگر را جمع‌آوری می‌کند: وضوح صفحه، فونت‌های نصب‌شده، WebGL، Canvas. اگر شما از طریق مرورگر headless (Puppeteer، Playwright) بدون پنهان‌سازی پارس می‌کنید — سیستم این را شناسایی خواهد کرد. بنابراین، مهم است که یا از ابزارهایی با حالت استلث استفاده کنید یا از طریق API بدون رندر کردن JS پارس کنید.

مسدودسازی جغرافیایی و بررسی شهرت IP

Ozon — یک بازار روسی است و انتظار دارد درخواست‌ها از IP‌های روسی بیاید. اگر از طریق پروکسی دیتاسنتر از آلمان یا ایالات متحده متصل شوید، این بلافاصله مشکوک به نظر می‌رسد. علاوه بر این، آدرس‌های IP دیتاسنترها اغلب در پایگاه‌های داده سیستم‌های ضد ربات (Cloudflare، DataDome) قرار دارند — به همین دلیل برای Ozon به IP‌های مقیم روسی یا موبایل نیاز است.

کدام پروکسی‌ها برای Ozon مناسب هستند: مقایسه انواع

همه پروکسی‌ها به‌طور یکسان با حفاظت Ozon مقابله نمی‌کنند. سه نوع اصلی و کاربرد آن‌ها برای وظایف در این بازار را بررسی می‌کنیم.

پروکسی‌های مقیم — اسب کار برای Ozon

پروکسی‌های مقیم از آدرس‌های IP کاربران خانگی واقعی استفاده می‌کنند. برای Ozon، چنین درخواستی به‌عنوان یک انسان عادی که از طریق اینترنت خانگی به سایت وارد شده است، به نظر می‌رسد. سیستم ضد ربات هیچ نشانه‌ای از خودکار بودن در سطح IP نمی‌بیند. این باعث می‌شود پروکسی‌های مقیم انتخاب اصلی برای پارسینگ مقیاس‌پذیر باشند: نظارت بر قیمت‌ها برای هزاران SKU، جمع‌آوری کارت‌های محصول، تحلیل تنوع محصولات رقبای.

مزیت کلیدی — مجموعه بزرگ IP‌ها با امکان انتخاب جغرافیای روسی. Ozon انتظار دارد درخواست‌ها از آدرس‌های روسی بیاید و پروکسی‌های مقیم با هدف‌گذاری جغرافیایی به روسیه حداقل سطح مشکوک بودن را فراهم می‌کنند.

پروکسی‌های موبایل — حداکثر قابلیت اطمینان

پروکسی‌های موبایل از طریق IP‌های اپراتورهای موبایل (MTS، Beeline، MegaFon، Tele2) کار می‌کنند. این نوع ترافیک از نظر سیستم‌های ضد ربات "پاک‌ترین" نوع است: IP‌های موبایل تقریباً هرگز در لیست‌های سیاه قرار نمی‌گیرند و یک IP می‌تواند به‌طور همزمان توسط هزاران کاربر واقعی استفاده شود. اگر IP مقیم مسدود شود — این مشکوک است. اگر IP موبایل مسدود شود — Ozon در خطر قطع کردن هزاران خریدار واقعی قرار می‌گیرد که برای آن‌ها سودی ندارد.

پروکسی‌های موبایل به‌ویژه برای وظایفی که نیاز به قابلیت اطمینان بالا دارند، خوب هستند: جمع‌آوری نظرات، نظارت بر تخفیف‌ها و فروش‌ها در زمان واقعی.

پروکسی‌های دیتاسنتر — فقط برای وظایف ساده

پروکسی‌های دیتاسنتر سریع کار می‌کنند و هزینه کمتری دارند، اما برای Ozon کاربرد آن‌ها محدود است. بیشتر این IP‌ها قبلاً در پایگاه‌های داده سیستم‌های ضد ربات قرار دارند. آن‌ها می‌توانند برای وظایف یک‌باره با فرکانس پایین درخواست مناسب باشند — به‌عنوان مثال، بررسی موجودی یک محصول خاص یک بار در ساعت. برای نظارت منظم و مقیاس‌پذیر مناسب نیستند.

سناریوهای استفاده: قیمت‌ها، محصولات، نظرات

وظایف جمع‌آوری داده‌ها از Ozon متفاوت است و برای هر یک استراتژی خاصی نیاز است. سه سناریوی اصلی را بررسی می‌کنیم.

📊 نظارت بر قیمت‌های رقبای

این محبوب‌ترین سناریو در میان فروشندگان است. وظیفه: نظارت بر قیمت‌ها برای صدها یا هزاران محصول رقبای خود به‌منظور اصلاح سریع قیمت‌گذاری خود. Ozon اغلب قیمت‌ها را چندین بار در روز تغییر می‌دهد — به‌ویژه در زمان تخفیف‌ها.

نیازمندی‌ها به پروکسی: به یک مجموعه از 50–200 IP مقیم با جغرافیای روسی نیاز دارید. درخواست‌ها باید با تأخیر 2–5 ثانیه بین هر یک ارسال شوند و IP بعد از هر 5–10 درخواست تغییر کند. با این حالت، پارسر می‌تواند 500–1000 کارت محصول را در ساعت بدون مسدود شدن پردازش کند.

چه چیزی جمع‌آوری کنیم: قیمت فعلی، قیمت قبل از تخفیف، موجودی در انبار، رتبه فروشنده، تعداد نظرات، وضعیت شرکت در تخفیف Ozon.

🛍️ جمع‌آوری داده‌های محصولات و تنوع

تحلیلگران و بازاریابان داده‌های مربوط به تنوع محصولات را جمع‌آوری می‌کنند: کدام دسته‌ها در حال رشد هستند، کدام محصولات در جستجوها به‌عنوان برتر ظاهر می‌شوند، چگونه تعداد فروشندگان در این حوزه تغییر می‌کند. این وظایف بیشتر حجیم هستند — نیاز به مرور هزاران صفحه کاتالوگ دارند.

نیازمندی‌ها به پروکسی: مجموعه‌ای از 200 IP با چرخش. مهم است که از جلسات چسبنده (sticky sessions) استفاده کنید (زمانی که یک IP "چسبیده" به یک جلسه برای چند دقیقه است) تا به‌درستی از صفحه‌بندی عبور کنید — در غیر این صورت، با تغییر IP در صفحه بعدی کاتالوگ ممکن است نتایج متفاوتی دریافت کنید.

چه چیزی جمع‌آوری کنیم: نام محصول، شماره کالا (SKU)، دسته، برند، توضیحات، مشخصات، عکس‌ها، تعداد فروشندگان، موقعیت در جستجو.

⭐ پارسینگ نظرات و رتبه‌بندی‌ها

نظرات — منبع ارزشمندی برای تحلیل ترجیحات مصرف‌کنندگان، شناسایی نقاط ضعف رقبای و بهبود محصولات خود هستند. صفحات نظرات در Ozon به‌ویژه به‌خوبی محافظت می‌شوند: برای بارگذاری آن‌ها نیاز به جاوا اسکریپت است و داده‌ها اغلب از طریق درخواست‌های AJAX بارگذاری می‌شوند.

نیازمندی‌ها به پروکسی: برای پارسینگ نظرات، بهترین گزینه پروکسی‌های موبایل با IP‌های روسی هستند. از آنجا که هر صفحه نظرات به چندین درخواست نیاز دارد (صفحه اصلی + AJAX برای بارگذاری محتوا)، IP‌های موبایل ثبات جلسه را تضمین می‌کنند.

چه چیزی جمع‌آوری کنیم: متن نظر، امتیاز (1–5 ستاره)، تاریخ انتشار، مفید بودن نظر (لایک‌ها)، پاسخ فروشنده، عکس‌ها در نظرات، خرید تأیید شده.

چرخش IP و مدیریت جلسات: چگونه از مسدود شدن جلوگیری کنیم

حتی با پروکسی‌های خوب، ممکن است مسدود شوید اگر مدیریت جلسات و چرخش را به‌درستی انجام ندهید. این یکی از جنبه‌های کلیدی فنی پارسینگ Ozon است.

دو حالت چرخش: rotating vs sticky

Rotating (چرخش تصادفی) — هر درخواست از یک IP جدید ارسال می‌شود. این برای درخواست‌های مستقل خوب است: به‌عنوان مثال، زمانی که شما قیمت یک محصول خاص را بررسی می‌کنید. Ozon هیچ ارتباطی بین درخواست‌ها نمی‌بیند.

Sticky sessions (جلسات چسبنده) — یک IP برای چندین درخواست متوالی در یک "جلسه" (معمولاً 1–30 دقیقه) استفاده می‌شود. این زمانی لازم است که شما از صفحه‌بندی کاتالوگ عبور می‌کنید، چندین صفحه نظرات یک محصول را جمع‌آوری می‌کنید یا با سبد خرید/احراز هویت کار می‌کنید. تغییر ناگهانی IP در وسط جلسه مشکوک به نظر می‌رسد.

قوانین تأخیر بین درخواست‌ها

مدیریت کوکی‌ها و داده‌های جلسه

Ozon کوکی‌ها را ردیابی می‌کند: اگر هر درخواست بدون کوکی یا با کوکی‌های جدید بیاید، این نشانه‌ای از ربات است. توصیه می‌شود در اولین بازدید از یک IP جدید، جلسه را "گرم" کنید — ابتدا صفحه اصلی را بارگذاری کنید، سپس به دسته بروید و فقط بعد از آن داده‌های مورد نیاز را درخواست کنید. این رفتار یک کاربر واقعی را تقلید می‌کند و خطر مسدود شدن را 3–5 برابر کاهش می‌دهد.

تنظیم پروکسی برای پارسینگ Ozon: راهنمای گام به گام

تنظیم عملی را با استفاده از ابزارهای محبوب بررسی می‌کنیم. با پیکربندی پایه‌ای که برای اکثر سناریوها مناسب است، شروع می‌کنیم.

گام 1. داده‌های پروکسی را دریافت کنید

پس از اتصال پروکسی‌های مقیم یا موبایل، داده‌های اتصال را به‌صورت زیر دریافت خواهید کرد:

host: proxy.example.com
port: 8080
username: your_username
password: your_password
protocol: HTTP / HTTPS / SOCKS5

برای Ozon توصیه می‌شود از پروتکل HTTPS یا SOCKS5 استفاده کنید. SOCKS5 در اولویت است اگر ابزار شما آن را پشتیبانی می‌کند — زیرا هدرهای شناسایی کمتری را منتقل می‌کند.

گام 2. هدف‌گذاری جغرافیایی به روسیه را تنظیم کنید

در تنظیمات سرویس پروکسی، کشور را انتخاب کنید: روسیه (RU). برای برخی وظایف، شهر خاصی مهم است — به‌عنوان مثال، اگر می‌خواهید قیمت‌ها را با احتساب ارسال به مسکو یا سن‌پترزبورگ ببینید. در این صورت، هدف‌گذاری جغرافیایی در سطح شهر را انتخاب کنید.

اگر سرویس یک endpoint با پارامتر جغرافیایی در URL ارائه می‌دهد، این به‌صورت زیر خواهد بود:

proxy.example.com:8080?country=ru&city=moscow&session=random

گام 3. هدرهای HTTP صحیح را تنظیم کنید

این یک گام حیاتی است. درخواست به Ozon باید مانند یک درخواست از مرورگر واقعی Chrome در ویندوز به نظر برسد. حداقل مجموعه هدرها:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
            (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none

گام 4. چرخش و تأخیرها را تنظیم کنید

در بیشتر پارسرهای آماده و ابزارهای بدون کد، تنظیمات تأخیر و چرخش وجود دارد. تنظیم کنید:

• تأخیر بین درخواست‌ها: 3–5 ثانیه (می‌توانید تصادفی اضافه کنید: از 2 تا 7 ثانیه)
• چرخش IP: هر 5–10 درخواست برای نظارت بر قیمت‌ها، هر درخواست برای بررسی‌های یک‌باره
• زمان‌سنج درخواست: 15–30 ثانیه (Ozon گاهی اوقات به آرامی پاسخ می‌دهد)
• تلاش‌های مجدد در صورت خطا: 3 تلاش با IP جدید در صورت دریافت 403/429/503

گام 5. قبل از راه‌اندازی، کارکرد را بررسی کنید

قبل از راه‌اندازی پارسینگ کامل، یک تست انجام دهید: 20–30 درخواست به صفحات مختلف Ozon با فاصله 5 ثانیه ارسال کنید. اگر همه درخواست‌ها وضعیت 200 و HTML صحیح را بازگردانند — تنظیمات به‌درستی انجام شده است. اگر 403 یا ریدایرکت به کپچا را مشاهده کردید — باید هدرها را اصلاح کنید یا نوع پروکسی را تغییر دهید.

ابزارهای پارسینگ Ozon بدون کد

بیشتر فروشندگان و تحلیلگران پارسرها را از صفر نمی‌نویسند. ابزارهای آماده‌ای وجود دارند که اتصال پروکسی را پشتیبانی می‌کنند و نیازی به مهارت‌های برنامه‌نویسی ندارند.

Octoparse — پارسر بصری با پشتیبانی از پروکسی

Octoparse — یکی از ابزارهای محبوب بدون کد برای پارسینگ است. شما به‌صورت بصری عناصری را در صفحه مشخص می‌کنید که باید جمع‌آوری شوند و ابزار به‌طور خودکار پارسر را تولید می‌کند. از طریق تنظیمات وظیفه، اتصال پروکسی را پشتیبانی می‌کند: آدرس، پورت، نام کاربری و رمز عبور را مشخص کنید — و ابزار به‌طور خودکار IP را چرخش می‌دهد.

چگونه پروکسی را در Octoparse متصل کنیم: وظیفه را باز کنید → تنظیمات → تنظیمات پروکسی → افزودن پروکسی → داده‌های اتصال را وارد کنید → حالت چرخش را انتخاب کنید. برای Ozon حالت "Rotate IP for every N requests" با مقدار 5–10 توصیه می‌شود.

ParseHub — پارسر ابری برای سایت‌های پیچیده

ParseHub به‌خوبی با صفحاتی که داده‌ها از طریق جاوا اسکریپت بارگذاری می‌شوند (که برای Ozon مرتبط است) کار می‌کند. از طریق پروکسی در تعرفه‌های پولی کار می‌کند. این ابزار دارای مرورگر داخلی است که JS را رندر می‌کند — این کمک می‌کند تا داده‌هایی که از طریق درخواست HTTP معمولی در دسترس نیستند، جمع‌آوری شوند.

سرویس‌های تخصصی نظارت بر قیمت‌ها

برای وظیفه نظارت بر قیمت‌ها در Ozon، راه‌حل‌های SaaS تخصصی وجود دارند: Priceva، Metacommerce، Price2Spy. آن‌ها قبلاً منطق داخلی برای عبور از حفاظت Ozon را دارند و به‌صورت اشتراکی کار می‌کنند. اگر وظیفه شما فقط نظارت بر قیمت‌ها بدون داده‌های سفارشی است، این سرویس‌ها ممکن است راحت‌تر از تنظیم پارسر با پروکسی باشند.

n8n / Make (Integromat) — اتوماسیون با درخواست‌های HTTP

برای وظایف غیر پیچیده — به‌عنوان مثال، بررسی قیمت یک محصول خاص یک بار در ساعت — می‌توانید از پلتفرم‌های اتوماسیون n8n یا Make استفاده کنید. آن‌ها درخواست‌های HTTP را به Ozon ارسال می‌کنند و پاسخ را بر اساس الگوی مشخص شده پارس می‌کنند. پروکسی در تنظیمات گره HTTP متصل می‌شود: آدرس پروکسی را در فیلد Proxy URL مشخص کنید. این قوی‌ترین روش نیست، اما ساده‌ترین روش اتوماسیون بدون کد است.

7 اشتباه برتر در پارسینگ Ozon و چگونه از آن‌ها جلوگیری کنیم

بیشتر مشکلات با مسدود شدن به‌دلیل یکسانی از اشتباهات رخ می‌دهد. در اینجا فهرستی از آنچه که قطعاً نباید انجام دهید — و چگونه آن را اصلاح کنید، آورده شده است.

نتیجه‌گیری: چگونه جمع‌آوری داده‌های پایدار از Ozon را تنظیم کنیم

پارسینگ Ozon یک تنظیم یک‌باره نیست، بلکه یک کار مداوم با زیرساخت است. بازار به‌طور منظم حفاظت را به‌روزرسانی می‌کند، ساختار صفحات را تغییر می‌دهد و فیلترهای ضد ربات را سخت‌تر می‌کند. نظارت موفق بر سه پایه استوار است: نوع صحیح پروکسی، چرخش IP هوشمند و تقلید صحیح از رفتار یک کاربر واقعی.

اگر بخواهیم همه چیز را به‌طور خلاصه بیان کنیم:

• برای نظارت بر قیمت‌ها و تنوع محصولات — از پروکسی‌های مقیم با جغرافیای روسی و مجموعه‌ای از 50 IP استفاده کنید
• برای جمع‌آوری نظرات و وظایف با نیازهای بالا به قابلیت اطمینان — پروکسی‌های موبایل اپراتورهای روسی
• همیشه تأخیرها، چرخش و هدرهای HTTP صحیح را تنظیم کنید
• هنگام عبور از صفحه‌بندی از جلسات چسبنده استفاده کنید
• وظایف حجیم را برای ساعات شب برنامه‌ریزی کنید

اگر شما تازه شروع به ساخت سیستم نظارت بر Ozon کرده‌اید، توصیه می‌کنیم با پروکسی‌های مقیم با IP‌های روسی شروع کنید — آن‌ها تعادل خوبی بین هزینه، سرعت و قابلیت اطمینان برای اکثر وظایف جمع‌آوری داده‌ها از بازارها فراهم می‌کنند. برای وظایف حیاتی، جایی که هر درخواست باید بدون مشکل عبور کند، به پروکسی‌های موبایل توجه کنید — آن‌ها گران‌تر هستند، اما حتی در استفاده‌های شدید تقریباً مسدود نمی‌شوند.