21 اوت 2026 ژروم سگورا، معاون رئیس تحقیق تهدیدات در شرکت ضد ربات DataDome، عددی را منتشر کرد که در عرض یک روز در نشریات معتبر پخش شد: در کارتهای حافظه DDR5 یک خردهفروش بزرگ رباتها 91% کل ترافیک را تولید میکنند — تقریباً ده درخواست خودکار به ازای یک بازدید زنده. در بهار، نسبت این شرکت 6:1 بود. در چند ماه اخیر فشار خودکار بر صفحات محصول تقریباً دو برابر شده است.
برای کسانی که به طور قانونی قیمتها و موجودیها را جمعآوری میکنند — بازنگری قیمت، کنترل MAP، تحلیل تنوع — این خبر بد است نه به این دلیل که «رقبای اسکلپر جلوتر هستند». بلکه به این دلیل که خردهفروشی اکنون امنیت را بر اساس پروفایل رفتاری تنظیم میکند که در نظارت معمولی بر قیمت و رباتهای اسکلپر یکسان به نظر میرسد.
چه چیزی پیدا شده و تا چه اندازه به آن اعتماد کنیم
واقعیت عمومی از دو گزارش DataDome تشکیل شده است. تجزیه و تحلیل ماه مارس جزئیات یک کمپین را ارائه داد: بیش از 50,000 درخواست در ساعت، 91 موقعیت محصول تحت نظارت، به طور متوسط 551 درخواست برای هر کارت — یعنی بررسی موجودی هر 6.5 ثانیه یک بار. یک عملیات توانسته بیش از 10 میلیون درخواست قبل از اینکه مسدود شود، انجام دهد. بهروزرسانی اوت به این عدد سهمی اضافه کرد: 91% ترافیک و نسبت 10:1.
اکنون توضیحات صادقانهای که بدون آن عدد به سر و صدای بازاریابی تبدیل میشود:
- این یک خردهفروش نامشخص است، نه نمای بازار.
- DataDome پنجره نمونهگیری و روششناسی را منتشر نکرده است — اینکه چه چیزی به عنوان «ربات بد» در نظر گرفته میشود، به صلاحدید آنها باقی میماند.
- این شرکت محصولی را میفروشد که دقیقاً این ترافیک را مسدود میکند. تضاد منافع دادهها را باطل نمیکند، اما نیاز به اصلاح دارد.
- مهمترین نکته: درخواستها به صفحه — خرید نیستند. معیار فشار نظارت بر لیستینگ را نشان میدهد، نه سهم محصولی که واقعاً توسط رباتها خریداری شده است.
آخرین نکته از همه مهمتر است. 91% «ترافیک ربات» به معنای 91% اسکلپرها نیست. این سهم شامل همه خودکارها میشود: تجمیعکنندههای قیمت، بازنگریکنندههای دیگر، خدمات ردیابی تخفیف، خزندههای تحلیلی و نظارت خودتان. خردهفروش یک جریان کلی میبیند و به آن با یک قانون کلی پاسخ میدهد.
چرا این اتفاق میافتد: حافظه به یک دارایی کمیاب تبدیل شده است
زمینه ساده است. مجموعه 32 گیگابایت DDR5-6000 که یک سال پیش حدود $72 قیمت داشت، در اوت به طور متوسط $392 فروخته میشود. مجموعههای 64 گیگابایتی تقریباً 485% افزایش قیمت داشتهاند، به $1118. قیمت لحظهای چیپ DDR4 در اوایل اوت رکوردی را ثبت کرد — $42.45. مجموعههای 128 گیگابایتی تقریباً ده برابر افزایش یافتهاند. دلیل این افزایش در ماژولهای بازی نیست: ظرفیتهای تولیدی توسط شتابدهندههای هوش مصنوعی، HBM و حافظه سرور پاک میشوند — بر اساس پیشبینیهای صنعتی، مراکز داده حدود 70% تولید جهانی چیپهای حافظه را در سال 2026 خواهند گرفت و کمبود حداقل تا سهماهه چهارم 2027 ادامه خواهد داشت.
وقتی کالا پنج برابر گران میشود و از قفسهها ناپدید میشود، تفاوت بین قیمت خردهفروشی و قیمت فروش مجدد هر زیرساختی را برای خرید مجدد توجیه میکند. از این رو شدت افزایش مییابد. به علاوه، اهداف از مرز خردهفروشی مصرفکننده فراتر رفتهاند: خودکارها صفحات تأمینکنندگان مانند Micron و Apacer و همچنین تولیدکنندگان سوکت DIMM و کانکتور CAMM2 — Amphenol، TE Connectivity را هدف قرار میدهند. خریداران به سمت بالا در زنجیره تأمین حرکت کردهاند.
امضایی که به دلیل آن نظارت قانونی آسیب میبیند
این توصیف رفتار رباتها از گزارش DataDome است — آن را به عنوان یک چکلیست برای اسکرپر خود بخوانید:
- دور زدن کش. به هر درخواست HTTP یک پارامتر منحصر به فرد اضافه میشود تا صفحه جدیدی دریافت شود، نه خروجی از CDN.
- ریتم شبیه انسان. پروفایل بار روزانه و شبانه که ساعات فعالیت معمولی را شبیهسازی میکند.
- سرعت کمی پایینتر از آستانه. فرکانس به گونهای انتخاب شده است که هشدارهای حجمی فعال نشوند.
- جلسه مسطح. ورود به یک کارت — و خروج. نه سبد خرید، نه جستجو، نه انتقال در کاتالوگ.
اکنون به نظارت قیمت شرکتی معمولی نگاه کنید. این نظارت به لینکهای مستقیم SKU از پایگاه داده خود میرود. این نظارت پارامترهایی را اضافه میکند تا قیمت کششده روز گذشته را دریافت نکند. این نظارت با یک فاصله ثابت کار میکند که به طور تجربی «برای جلوگیری از مسدود شدن» انتخاب شده است. و هرگز چیزی را به سبد خرید اضافه نمیکند. این همان امضا است. تنها تفاوت در نیت است، و نیت موتور ضد ربات قابل اندازهگیری نیست.
نتیجه عملی ناخوشایند: تشدید امنیت در برابر اسکلپرها به طور خودکار به جمعآوری قانونی دادهها آسیب میزند، و در اینجا «توجیهی» وجود ندارد. اثر مشابهی را قبلاً در یک پلتفرم دیگر بررسی کردهایم — زمانی که آمازون شروع به علامتگذاری خریداران عادی به عنوان رباتها به دلیل آستانههای رفتاری کرد، نه به دلیل IP.
چه چیزی را در جمعآوری دادههای خود باید همین حالا تغییر دهید
تغییر IP-pool در اینجا کمکی نمیکند: سیگنال رفتار است، نه آدرس. ترتیب کار که واقعاً سهم مسدود شدن را کاهش میدهد:
- از ریتم یکنواخت پرهیز کنید. درخواست هر 6.5 ثانیه با دقت مترونوم — این «شبیه انسان» نیست، این یک امضا است. نیاز به جیتری در دامنه وسیع (به عنوان مثال، 20–180 ثانیه برای یک موقعیت) و توزیع متفاوت در روزهای هفته دارید.
- دیگر کش را در هر درخواست نشکنید. یک cache-buster منحصر به فرد در URL — ارزانترین نشانگر خودکار است. باید به طور انتخابی تازگی را بررسی کنید و فقط برای SKUهای نوسانی، بقیه را همانطور که هستند بگیرید.
- به جلسه عمق بدهید. ورود از طریق دستهبندی یا جستجو، یک یا دو محصول همسایه، و فقط سپس کارت هدف. این کار ترافیک بیشتری میطلبد، اما پروفایل «مسطح» را حذف میکند.
- SKUها را بر اساس نوسان اولویتبندی کنید. محصولی که قیمت آن هر هفته تغییر میکند، نیازی به پرسش هر نیم دقیقه ندارد. فرکانس باید از تغییرپذیری پیروی کند، نه از اندازه لیست.
- پولها را بر اساس کلاسهای وظیفه تقسیم کنید. نظارت خردهفروشی، بررسی نتایج و جمعآوری نظرات نباید از یک آدرس واحد انجام شود: فعال شدن امنیت در یک سناریو نباید سایرین را تحت تأثیر قرار دهد. برای کارتهای محصول شبکههای بزرگ، پروکسیهای مسکونی پایدارتر عمل میکنند، در حالی که پول دیتاسنتر را منطقی است که برای APIهای عمومی و بررسیهای داخلی نگه دارید.
- به جای گیگابایت، رکوردهای موفق را شمارش کنید. با تشدید امنیت، سهم بازگشتها افزایش مییابد و قیمت به ازای هر گیگابایت دیگر واقعیت را منعکس نمیکند — چرا $/GB دروغ میگوید و چگونه هزینه یک رکورد موفق را محاسبه کنیم، ما به طور جداگانه بررسی کردهایم. در شرایطی که 9 از 10 درخواست به لیستینگ — خودکار است، معیار «هزینه قیمت معتبر در پایگاه» به تنها معیار صادق تبدیل میشود.
چگونه بفهمید که شما را مسدود میکنند
مسدود شدن در صفحات محصول به ندرت به عنوان یک رد صادقانه به نظر میرسد. بیشتر اوقات، این مسدود شدن خاموش است و نظارت به طور مرتب زبالهها را در پایگاه مینویسد. نشانههایی که این را نشان میدهد:
- افزایش سهم 429 و 403 با حجم ثابت وظایف — سادهترین نشانگر، اگر شما واقعاً کدهای پاسخ را در لاگ مینویسید، نه فقط نتیجه پارسینگ.
- همیشه «موجود نیست» وجود دارد. پاسخ نرم کلاسیک: صفحه ارائه میشود، قیمت در محل است، اما مسدود شدن موجودی تغییر کرده است. نظارت HTML معتبر را میبیند و هشدار نمیدهد.
- قیمت «چسبیده» است. نسخه کششدهای از یک هفته پیش ارائه میشود — همان اثر که باعث شد رباتها کش را با پارامترها بشکنند.
- تاخیر پاسخ به ویژه در کارتها افزایش مییابد، در حالی که دستهها و جستجو به طور عادی باز میشوند: بخش مشکوک شامل تراتلینگ شده است.
- تفاوت شدید در نمونهگیری. اگر دادهها برای بخشی از SKUها بهروزرسانی میشوند، در حالی که برای بخشی دیگر به شدت متوقف شدهاند — شما قبلاً بخشی در فیلتر هستید، فقط به طور کامل نه.
عملی این است که چند محصول «کنترلی» داشته باشید که میتوانید قیمت آنها را به صورت دستی یا از منبع مستقل دیگری بررسی کنید و آنها را یک بار در روز مقایسه کنید. اختلاف گروه کنترل با آنچه در مرورگر مشاهده میشود، به این معنی است که باید پروفایل درخواستها را تعمیر کنید، نه پارسر.
چرا تنها چرخش IP دیگر سوال را حل نمیکند
دلیلی که تغییر آدرسها تأثیر کمتری دارد این است که تصمیم به مسدود کردن به چندین لایه به طور همزمان گرفته میشود و IP تنها اولین آنهاست.
- لایه شبکه. شهرت آدرس و سیستم مستقل، سهم دامنههای دیتاسنتر، چگالی درخواستها از یک زیرشبکه. در اینجا چرخش واقعاً کمک میکند.
- لایه حمل و نقل و مشتری. اثر انگشت TLS، ترتیب هدرها، نسخه مشتری. کتابخانهای از سال 2021 با ترکیب نادری از رمزنگاریها خود را زودتر از آنکه به منطق تجاری برسد، افشا میکند.
- لایه رفتاری. همان لایهای که DataDome توصیف کرده است: فواصل، عمق جلسه، عدم وجود سبد خرید و جستجو، cache-buster. این لایه به IP اصلاً وابسته نیست — میتوانید آدرس را در هر درخواست تغییر دهید و همچنان همان ربات باشید.
از این رو، و نکته عملی اصلی داستان اوت: سرمایهگذاری در کیفیت پول تنها زمانی بازده دارد که رفتار اصلاح شود. جداگانه اولی — پرداخت ترافیکی است که در هر صورت در لایه سوم فیلتر میشود.
این به کجا میرود
کمبود حافظه سالها ادامه خواهد داشت، بنابراین فشار بر روی کارتها کاهش نخواهد یافت. خردهفروشی به وضوح پاسخ خواهد داد: محدودیتهای خرید، صفها، احراز هویت اجباری برای مشاهده موجودی، نمرهگذاری رفتاری به جای محدودیتهای ساده بر اساس IP. بخشی از این اقدامات در حال حاضر استاندارد در عمودیهای بلیط و کفش ورزشی است — اکنون به سختافزار کامپیوتری و به دنبال آن به اجزای صنعتی میآید.
برای تیمهایی که به دادههای خارجی وابستهاند، این به معنای تغییر رویکرد است: عصر «چرخش IP را تنظیم کرده و جمعآوری کنید» در جایی که کالا کمیاب است به پایان رسیده است. چیز دیگری کار میکند — سرعت واقعبینانه، عمق معنادار جلسه، تقسیم پولها و حسابداری منطقی هزینه نتیجه. اگر شما فقط در حال ساخت جمعآوری قیمت هستید، از طرح پایهای که در تجزیه و تحلیل ما پروکسی برای e-commerce: پارسینگ قیمت و نظارت بر رقبا شروع کنید و سپس اصلاحات رفتاری را از این ماده به آن اضافه کنید.
و آخرین نکته. عدد 91% به خودی خود — سیگنالی نیست که رباتها بیش از حد زیاد شدهاند، بلکه به این معنی است که صفحات محصول کالاهای کمیاب به میدانی تبدیل شدهاند که خودکارها با خودکارها رقابت میکنند. در چنین محیطی، برنده کسی نیست که بیشتر پرسش میکند، بلکه کسی است که کمتر تحت فیلتر قرار میگیرد.