شما 403 دریافت کردهاید — و اولین کاری که معمولاً انجام میدهید، تغییر پروکسی است. گاهی اوقات کمک میکند، اما بیشتر اوقات نه. زیرا «ضد ربات» یک فناوری نیست، بلکه حداقل شش سیستم مختلف با مکانیکهای شناسایی متفاوت، سختگیریهای مختلف و الزامات متفاوت برای ترافیک شما است. چیزی که شما را از Imperva نجات میدهد، در برابر Kasada بیفایده است. بیایید بررسی کنیم که در سال 2026 چه کسی چه کسی است، چگونه میتوان در 30 ثانیه فروشنده را شناسایی کرد و چه چیزی را دقیقاً باید در استک پروکسی برای هر یک تغییر داد.
چرا «فقط تغییر پروکسی» دیگر کار نمیکند
منطق کلاسیک ساده بود: IP مسدود شده — یکی دیگر بگیرید. این روش کار میکرد تا زمانی که شناسایی بر اساس شهرت آدرس ساخته میشد. امروز IP تنها یک لایه از پنج لایه است و وزن آن در فروشندگان مختلف به طور اساسی متفاوت است.
مجموعه عمومی سیگنالها که به نوعی همه از آن استفاده میکنند:
- اثر انگشت TLS (JA3/JA4) — ترتیب مجموعههای رمزنگاری و گسترشها در handshake؛
- ترتیب و ثبت HTTP-هدینگها — در کلاینت Python مانند Chrome نیست؛
- شهرت IP — ASN، تعلق به مرکز داده، تاریخچه آدرس؛
- اثر انگشت مرورگر — canvas، WebGL، سنسورهای سختافزاری؛
- بیومتریای رفتاری — مسیرهای ماوس، سرعت اسکرول، الگوی ورودی.
نتیجه کلیدی که همه محققان این موضوع تکرار میکنند: سازگاری سیگنالها مهم است. ترکیب User-Agent از Chrome با اثر انگشت TLS Python شما را به عنوان ربات در هر یک از فروشندگان علامتگذاری میکند — صرف نظر از اینکه IP شما چقدر تمیز است. آدرس مسکونی «نمیتواند» لایه مرورگر آسیبپذیر را بپوشاند و برعکس.
گام اول: شناسایی فروشنده از روی نشانهها
قبل از اینکه چیزی تغییر دهید، به هدرهای پاسخ و کوکیها نگاه کنید. هر سیستم یک امضای قابل شناسایی را باقی میگذارد — این سریعترین راه برای درک این است که با چه چیزی سر و کار دارید.
- Cloudflare — هدر CF-RAY، کوکیهای cf_clearance و __cf_bm، بارگذاری challenge.js; در نسخههای جدید، هدر cf-mitigated مشاهده میشود.
- DataDome — کوکیهای datadome و _dd_s، اسکریپت tags.js.
- Akamai — کوکی _abck، هدر مرجع akamai-grn.
- PerimeterX (HUMAN Security) — کوکیهای _px3، _pxvid، _pxhd، اسکریپتهای px.js یا d.js.
- Kasada — هدرهای خانواده x-kpsdk-* (ct — توکن چالش، dv — اعتبارسنجی دستگاه، cd — داده چالش، v — نسخه)، کوکی KP_UIDz، اسکریپتهای ips.js یا p.js.
- Imperva (Incapsula) — کوکیهای incap_ses_*، visid_incap_*، reese84.
- AWS WAF — کوکی aws-waf-token، فراخوانی نقطه پایانی /challenge.js.
- F5 / Shape Security — کوکیها با پیشوند TS (برای مثال، TS01a2b3c4).
نشانه جداگانه — خود ماهیت رد. Kasada با 429 «خالی» بدون بدنه پاسخ میدهد: اگر شما 403 یا 429 را همراه با هدرهای x-kpsdk-* مشاهده کنید، سوال بسته است. DataDome بیشتر 403 را با صفحه CAPTCHA ارائه میدهد. Cloudflare — چالش تعاملی یا Turnstile.
سیستمها از نظر مکانیک واقعاً چه تفاوتی دارند
امضا میگوید «چه کسی»، اما تاکتیک «چگونه» را تعیین میکند. از نظر معماری، فروشندگان به شدت متفاوت هستند.
Cloudflare — مدلهای جهانی در لبه شبکه
در سطح CDN-edge کار میکند: تصمیم قبل از رسیدن درخواست به برنامه گرفته میشود. مدلها جهانی هستند و بر اساس ترافیک کل شبکه آموزش دیدهاند — حدود یک پنجم وبسایتهای اینترنت. مزیت برای شما: رفتار پیشبینیپذیر است، تجربه از یک وبسایت به وبسایت دیگر منتقل میشود. معایب: شبکه زیرشبکه شما را در هزاران منبع به طور همزمان میبیند و شهرت به سرعت جمع میشود.
DataDome — مدل شخصی برای هر وبسایت
تفاوت کلیدی: این پلتفرم حدود 85,000 مدل ML مشتری را نگه میدارد که بر اساس ترافیک وبسایت خاص آموزش دیدهاند و بیش از 5 تریلیون سیگنال در روز را با زمان پاسخ کمتر از 2 میلیثانیه پردازش میکند. نتیجه عملی ساده و ناخوشایند است: هر وبسایت محافظت شده — یک وظیفه جداگانه است. ترکیب کاری برای Etsy به وبسایت دیگر تحت همان فروشنده منتقل نمیشود. در سال 2025، تحلیل نیت (هدف بازدید ارزیابی میشود، نه فقط واقعیت خودکارسازی) و دستهبندی جداگانه LLM-crawlers اضافه شد.
Akamai — تمرکز بر TLS و تلمتری
سیگنالهای handshake را بررسی میکند و تلمتری رفتاری را در سمت خود از طریق کوکی _abck اعتبارسنجی میکند. بر اساس اندازهگیریهای مستقل در سال 2026، Akamai و Imperva به طور کمتری مشتریان خودکار پیشفرض را چالش میکنند نسبت به Cloudflare و DataDome — اما این به این معنی نیست که «ضعیفتر» هستند: در جایی که به شدت تنظیم شده است، دور زدن نیاز به لایه TLS صحیح دارد، نه تغییر IP.
PerimeterX / HUMAN — شهرت شبکهای
شهرت مشتری در سراسر شبکه فروشنده گسترش مییابد. اگر در یک وبسایت شناسایی شوید — در وبسایت دیگر با برچسب میآیید. سایتهای معمول: تجارت الکترونیک و املاک.
Kasada — بازجویی فعال از محیط
سختترین سیستم از میان سیستمهای انبوه. نه تنها اثر انگشتها را جمعآوری میکند، بلکه به طور فعال محیط را بازجویی میکند: کد مشتری را از طریق Function.prototype.toString() بازرسی میکند و ضد-دکود کردن اسکریپتهای خود را اعمال میکند. بر اساس ارزیابیهای کلی، این سیستم بالاترین نمرات را هم از نظر پیچیدگی و هم از نظر دشواری دور زدن مستقل دریافت میکند. آن را برای تیکتینگ و املاک قرار میدهند.
Imperva (Incapsula) — منطق WAF به طور پیشفرض
از IP و قوانین WAF شروع میکند؛ لایههای رفتاری در تنظیمات بالاتر متصل میشوند. سایتهای کلاسیک — وبسایتهای شرکتی و تابلوهای شغلی.
چه کسی سختگیرتر است: اعداد به جای احساسات
یک بنچمارک مستقل Scrapeway وجود دارد: هشت سرویس در مقابل یازده هدف، بیش از 1000 درخواست به سرویس برای هر هدف، دو گزارش در ماه. اهداف به فروشندگان اختصاص داده شدهاند — Indeed تحت Cloudflare، Etsy تحت DataDome، Walmart و Zillow تحت PerimeterX، Realtor تحت Kasada.
اندازهگیریهای سال 2026 چه چیزی را نشان میدهند:
- سختگیری بالا — Cloudflare، DataDome، PerimeterX، Kasada: اکثریت قریب به اتفاق مشتریان خودکار پیشفرض، چالش دریافت میکنند.
- متوسط — Akamai و Imperva: به طور قابل توجهی مشتریان پیشفرض را کمتر چالش میکنند.
- در برابر اهداف Cloudflare، تنها درصد کمی از مشتریان غیر تنظیم شده به طور پایدار محتوای صفحه را دریافت کردند.
برای مقایسه: در سرویسهای تخصصی دور زدن، موفقیت در برابر این اهداف در محدوده 94–100% بسته به فروشنده است — یعنی این یک وظیفه قابل حل است، اما نه با مشتری پیشفرض و نه با یک تغییر IP.
چه چیزی را در استک پروکسی برای هر یک تغییر دهیم
حالا به عمل. در زیر — نه یک دستور دور زدن، بلکه منطق انتخاب زیرساخت برای نوع شناسایی.
- Imperva و AWS WAF. وزن IP بالا است، لایههای رفتاری اغلب خاموش هستند. در اینجا پروکسیهای مرکز داده هنوز زندهاند — به شرطی که زیرشبکههای تمیز و نرخ معقولی داشته باشید. از اینجا شروع کنید، این کمهزینهترین گزینه برای ترافیک است.
- Akamai. پروکسی کمتر از لایه TLS کار میکند. ابتدا handshake و ترتیب هدرها را مرتب کنید و سپس کلاس IP را بالا ببرید. تغییر پروکسی با اثر انگشت JA4 نادرست هیچ نتیجهای نخواهد داشت.
- Cloudflare. شهرت جهانی به این معنی است که زیرشبکه به سرعت و به طور همزمان در همه جا سوخته میشود. به پروکسیهای مسکونی با مجموعه وسیع و چرخش معقول نیاز دارید: نه «IP جدید برای هر درخواست»، بلکه حفظ جلسه برای مدت زمان وظیفه منطقی، در غیر این صورت cf_clearance از بین میرود.
- DataDome. مدل بر اساس ترافیک وبسایت خاص آموزش دیده است، بنابراین مهمترین چیز یکنواختی رفتار شما دقیقاً در آن وبسایت است. IP مسکونی نمره مثبت تریست میدهد، زیرا افراد واقعی از اتصالات مسکونی استفاده میکنند — اما به تنهایی، بدون مدیریت اثر انگشت مرورگر، هیچ تضمینی نمیدهد. تنظیمات برای یک وبسایت را به طور کورکورانه به وبسایت دیگر منتقل نکنید. جزئیات در مورد این فروشنده خاص — در بررسی پروکسی برای DataDome.
- PerimeterX / HUMAN. از آنجا که شهرت شبکهای است، ایزولهسازی مهمتر از حجم است: پروژههای مختلف — مجموعههای مختلف، تا برچسب از یک وبسایت به وبسایتهای دیگر منتقل نشود.
- Kasada. آدرسهای مرکز داده در ورودی مسدود میشوند. حداقل کار — پروکسیهای مسکونی، و بهتر است پروکسیهای موبایل: با یک IP موبایل از طریق CGNAT صدها مشترک زنده وجود دارند و سیستم برای مسدود کردن چنین آدرسی هزینه بیشتری دارد. همچنین تطابق الزامی User-Agent با نسخه فعلی مرورگر — رشته قدیمی به سرعت ترکیب را شناسایی میکند.
اشتباه اصلی: استک ناهمگن
بیایید آنچه را که شروع کردیم تکرار کنیم، زیرا این دلیل بیشتر «مسدودهای غیرقابل توضیح» است. همه شش سیستم عدم همزمانی بین لایهها را شناسایی میکنند. IP مسکونی از آلمان + منطقه زمانی سیستم UTC + اثر انگشت TLS curl + Chrome جدید در User-Agent — این «تقریباً رد شده» نیست، بلکه یک پروفایل ربات آماده است. پروکسی دقیقاً مسئول یک لایه از پنج لایه است؛ چهار لایه دیگر در کلاینت شما زندگی میکنند.
از این رو، ترتیب عملی کار: ابتدا فروشنده را بر اساس امضا شناسایی کنید، سپس ارزیابی کنید که کدام لایه شما ضعیفترین است و آن را تعمیر کنید — نه آنچه که تغییرش آسانتر است. اگر پس از مرتب کردن استک، اهداف همچنان در دسترس نیستند، سوال به «ساختن خود یا پرداخت برای آماده» منتقل میشود — این دو راهی را ما در مطلب پروکسی در برابر scraping API و وبآنبلاکرها بررسی کردیم.
خلاصه
هیچ «ضد ربات» واحدی وجود ندارد و هیچ دور زدن جهانی نیز وجود ندارد — هیچ تکنیکی در برابر همه هشت سیستم به طور همزمان کار نمیکند. فروشنده را بر اساس کوکیها و هدرها شناسایی کنید (این 30 ثانیه طول میکشد)، مکانیک آن را درک کنید — وزن IP در Imperva، TLS در Akamai، شهرت جهانی در Cloudflare، مدل شخصی وبسایت در DataDome، برچسب شبکهای در PerimeterX، بازجویی فعال از محیط در Kasada — و نوع پروکسی را برای آن انتخاب کنید، نه به صورت تصادفی. مرکز داده جایی است که به IP به طور رسمی نگاه میکنند؛ پروکسیهای مسکونی جایی هستند که تریست را محاسبه میکنند؛ پروکسیهای موبایل جایی هستند که شبکه به شدت همه چیز سروری را مسدود میکند. و بر روی سازگاری همه لایهها نظارت کنید: دقیقاً بر روی آن است که بیشتر پروژههای به ظاهر درست تنظیم شده خراب میشوند.
```