← بازگشت به وبلاگ

پارسینگ خریدهای دولتی و مناقصات در سرتاسر جهان: چرا به پروکسی نیاز داریم و چگونه از مسدود شدن جلوگیری کنیم

بررسی دقیق اینکه چرا پورتال‌های خرید دولتی جمع‌آوری خودکار داده‌ها را مسدود می‌کنند و چه پروکسی‌هایی برای نظارت بر مناقصات در کشورهای مختلف لازم است.

📅۱۰ آبان ۱۴۰۵

شرکت‌هایی که مناقصات را در روسیه، قزاقستان، کشورهای اتحادیه اروپا و ایالات متحده نظارت می‌کنند، دیر یا زود با یک مشکل مشابه روبرو می‌شوند: پورتال خرید دولتی به طور ناگهانی از ارائه داده‌ها خودداری می‌کند، کد CAPTCHA ظاهر می‌شود یا آدرس IP در لیست سیاه قرار می‌گیرد. این اتفاق به این دلیل می‌افتد که سایت‌های دولتی به طور فعال در برابر جمع‌آوری خودکار اطلاعات محافظت می‌شوند. بیایید بررسی کنیم که چرا این اتفاق می‌افتد، کدام کشورها به طور خاص ترافیک را به شدت فیلتر می‌کنند و چه نوع پروکسی برای نظارت پایدار بر مناقصات باید انتخاب شود.

چرا پورتال‌های خرید دولتی جمع‌آوری داده‌ها را مسدود می‌کنند

به طور رسمی، اطلاعات مربوط به خریدهای دولتی در اکثر کشورها عمومی است — این یک الزام قانونی برای شفافیت در هزینه‌های بودجه است. اما «عمومی» به معنای «دسترس‌پذیر برای جمع‌آوری خودکار در مقیاس صنعتی» نیست. سایت‌هایی مانند EIS روسیه (zakupki.gov.ru)، پورتال قزاقستان goszakup.gov.kz، TED (Tenders Electronic Daily) اروپا یا SAM.gov ایالات متحده برای مشاهده دستی از طریق مرورگر طراحی شده‌اند و نه برای هزاران درخواست در دقیقه از اسکریپت‌ها.

وقتی از یک آدرس IP فعالیت غیرعادی وجود دارد — ده‌ها درخواست در ثانیه، User-Agent یکسان، عدم وجود وقفه بین کلیک‌ها — سیستم حفاظت (اغلب Cloudflare، DataDome یا توسعه داخلی یک نهاد دولتی) این را به عنوان یک ربات شناسایی می‌کند. در ادامه، سه سناریو ممکن است پیش بیاید: نمایش کد CAPTCHA، مسدودیت موقت IP به مدت 15-60 دقیقه یا مسدودیت کامل بر اساس زیرشبکه. برای شرکتی که کسب و کار خود را بر پایه نظارت بر مناقصات بنا کرده است، هر یک از این سناریوها به معنای از دست دادن خریدها و پول است.

پیچیدگی اضافی این است که بسیاری از سایت‌های مناقصه نیاز به احراز هویت از طریق امضای دیجیتال (امضای الکترونیکی) دارند یا فقط پس از گذراندن بررسی JavaScript مرورگر داده‌ها را ارائه می‌دهند. این به این معنی است که فقط تغییر IP کافی نیست — باید رفتار یک کاربر واقعی با محیط مرورگر واقعی را شبیه‌سازی کرد.

داده‌های باز بر اساس کشورها: کجا جمع‌آوری سخت‌تر است

سطح حفاظت و دسترسی به API به شدت بسته به کشور متفاوت است. بیایید به بررسی حوزه‌های قضایی کلیدی بپردازیم که تحلیلگران خرید و متخصصان مناقصه بیشتر با آن‌ها کار می‌کنند.

کشور / منطقه پورتال سطح حفاظت ویژگی‌ها
روسیه zakupki.gov.ru, B2B-Center متوسط-بالا API رسمی وجود دارد، اما با محدودیت‌ها و ثبت‌نام
قزاقستان goszakup.gov.kz متوسط تایم‌اوت‌های مکرر در حجم بالای درخواست‌ها
اتحادیه اروپا TED (ted.europa.eu) پایین-متوسط صادرات باز به XML/CSV، اما محدودیت‌های جغرافیایی برای بخشی از داده‌ها
ایالات متحده SAM.gov بالا بررسی سخت مرورگر، نیاز به ثبت‌نام و کلید API
اوکراین Prozorro پایین API کاملاً باز، پروکسی‌ها به ندرت نیاز است
بریتانیا Contracts Finder, Find a Tender متوسط مسدودیت جغرافیایی درخواست‌ها از خارج از بریتانیا

نتیجه اصلی از جدول: حتی در جاهایی که به طور رسمی API باز وجود دارد، اغلب محدودیت‌های جغرافیایی یا محدودیت‌های سختی برای تعداد درخواست‌ها از یک IP وجود دارد. اگر شما داده‌ها را از بریتانیا جمع‌آوری می‌کنید و در کشور دیگری هستید، درخواست ممکن است حتی قبل از بررسی ربات رد شود — فقط به این دلیل که IP بریتانیایی نیست. اینجا است که نقش پروکسی آغاز می‌شود: آن‌ها به شما اجازه می‌دهند داده‌ها را از مکان جغرافیایی مورد نظر درخواست کنید و بار را بین ده‌ها آدرس توزیع کنید.

چه نوع پروکسی برای سایت‌های مناقصه نیاز است

برای نظارت بر خریدهای دولتی، راه‌حل جهانی «یک نوع پروکسی برای همه موارد» مناسب نیست. انتخاب بستگی به این دارد که با کدام سایت کار می‌کنید و چقدر حفاظت آن قوی است.

نوع پروکسی کی استفاده کنیم ریسک مسدودیت
پروکسی‌های دیتاسنتر پورتال‌هایی با API باز و حفاظت ضعیف (Prozorro، بخشی از TED) متوسط — زیرشبکه‌های دیتاسنتر گاهی در لیست سیاه هستند
پروکسی‌های مسکونی سایت‌هایی با Cloudflare/DataDome، محدودیت‌های جغرافیایی (SAM.gov، Contracts Finder) پایین — IP‌ها به عنوان کاربران خانگی معمولی به نظر می‌رسند
پروکسی‌های موبایل بررسی نقطه‌ای مناقصات خاص، فرکانس پایین درخواست‌ها حداقل، اما هزینه ترافیک بالاتر است

در عمل، بیشتر شرکت‌هایی که به طور همزمان بر روی مناقصات در چندین کشور نظارت می‌کنند، از ترکیبی استفاده می‌کنند: IP‌های دیتاسنتر برای سایت‌های با API باز و پروکسی‌های مسکونی — در جایی که حفاظت جدی وجود دارد یا نیاز به موقعیت جغرافیایی دقیق است (به عنوان مثال، درخواست باید دقیقاً از لندن باشد، نه از نقطه‌ای تصادفی در اروپا). پروکسی‌های مسکونی به ویژه زمانی مفید هستند که پورتال نه تنها IP را بررسی می‌کند، بلکه تطابق منطقه زمانی، زبان مرورگر و موقعیت جغرافیایی درخواست را نیز بررسی می‌کند — عدم تطابق این پارامترها به سرعت ترافیک خودکار را شناسایی می‌کند.

تنظیمات جمع‌آوری داده‌ها: طرح عملی

برای تحلیلگران خرید که کد نمی‌نویسند، اما فرآیند جمع‌آوری داده‌ها را از طریق پیمانکاران یا خدمات آماده مدیریت می‌کنند، مهم است که منطق تنظیمات را درک کنند، حتی اگر مستقیماً به برنامه‌نویسی نپردازند. در اینجا یک طرح مرحله‌ای است که بخش‌های مناقصه استفاده می‌کنند:

  1. پورتال‌های هدف را مشخص کنید. فهرستی از سایت‌ها بر اساس کشورها که باید نظارت شوند تهیه کنید و بررسی کنید که آیا API رسمی دارند یا خیر — این بار را بر روی پروکسی کاهش می‌دهد.
  2. نیازهای جغرافیایی را بررسی کنید. اگر سایت درخواست‌ها را از کشور خود مسدود می‌کند (مانند Contracts Finder بریتانیا)، در بودجه پروکسی‌های مسکونی با موقعیت جغرافیایی مورد نیاز را لحاظ کنید.
  3. تنظیمات چرخش IP را انجام دهید. برای جمع‌آوری منظم داده‌ها (چند بار در روز) نیاز به تغییر خودکار IP هر 5-15 دقیقه است تا از تجاوز به محدودیت‌های درخواست‌ها از یک آدرس جلوگیری شود.
  4. بین درخواست‌ها وقفه اضافه کنید. شبیه‌سازی رفتار انسانی — تأخیر 3-10 ثانیه‌ای بین مراجعه به صفحات — احتمال فعال شدن سیستم‌های ضد ربات را کاهش می‌دهد.
  5. کدهای CAPTCHA و مسدودیت‌ها را نظارت کنید. اعلان‌هایی برای افزایش تعداد کدهای CAPTCHA تنظیم کنید — این نشانه‌ای است که استخر IP فعلی «گرم» شده و نیاز به چرخش به آدرس‌های جدید دارد.
  6. تاریخچه درخواست‌ها را ذخیره کنید. یک لاگ از درخواست‌های موفق و مسدود شده برای هر پورتال نگهداری کنید — این کمک می‌کند تا بفهمید کدام نوع پروکسی برای سایت خاص بهتر عمل می‌کند.

نکته عملی:

اگر شما به طور همزمان بر روی مناقصات از 3-4 کشور نظارت می‌کنید، سعی نکنید از یک استخر IP یکسان برای همه سایت‌ها استفاده کنید. پروکسی‌ها را بر اساس کشورها از قبل تقسیم کنید — این خطر اینکه مسدودیت در یک پورتال «شهرت» IP را برای دیگری تحت تأثیر قرار دهد کاهش می‌دهد.

ابزارهای نظارت بر مناقصات

شرکت‌ها به ندرت از ابتدا پارسرها را می‌نویسند — بیشتر از راه‌حل‌های آماده استفاده می‌کنند یا چندین ابزار را ترکیب می‌کنند. در اینجا دسته‌های اصلی که برای جمع‌آوری داده‌ها در خریدهای دولتی استفاده می‌شوند آورده شده است:

  • پارسرهای آماده مناقصات — خدماتی مانند Tenderplan، Контур.Закупки، B2B-Center که نظارت می‌کنند — منطق دور زدن کدهای CAPTCHA در آن‌ها گنجانده شده است، اما تنظیمات برای سایت خاص ممکن است نیاز به پروکسی برای مقیاس‌پذیری داشته باشد.
  • پلتفرم‌های جمع‌آوری بدون کد — Octoparse، ParseHub که به شما اجازه می‌دهند جمع‌آوری داده‌ها را از طریق رابط بصری بدون نوشتن کد تنظیم کنید و از پروکسی‌های خارجی پشتیبانی می‌کنند.
  • مرورگرهای ضد شناسایی — اگر جمع‌آوری داده‌ها نیاز به احراز هویت در پورتال دارد (به عنوان مثال، حساب کاربری در zakupki.gov.ru)، ابزارهایی مانند Dolphin Anty یا AdsPower به شما کمک می‌کنند تا چندین حساب را به طور همزمان مدیریت کنید، هر کدام با پروکسی و اثر انگشت مرورگر منحصر به فرد خود.
  • RSS و اعلان‌های ایمیلی از خود پورتال‌ها — در جاهایی که این امکان وجود دارد (مانند Prozorro)، این نیاز به جمع‌آوری فعال و پروکسی را به طور کلی کاهش می‌دهد.

انتخاب ابزار بستگی به حجم دارد: برای نظارت بر 1-2 دسته خرید در یک کشور ممکن است اعلان RSS رایگان کافی باشد. اما اگر صحبت از نظارت جامع بر مناقصات در 5-10 کشور با به‌روزرسانی روزانه باشد، بدون ترکیب پارسر + استخر پروکسی + چرخش IP نمی‌توان کار کرد.

اشتباهات رایج در جمع‌آوری داده‌های دولتی

بیشتر مسدودیت‌ها در هنگام نظارت بر مناقصات به دلیل خود عمل جمع‌آوری داده‌ها نیست، بلکه به دلیل اشتباهات فنی در تنظیمات است. در اینجا مواردی که بیشتر منجر به مسدودیت می‌شود آورده شده است:

  • فرکانس درخواست‌ها بسیار بالا است. تلاش برای جمع‌آوری تمام ثبت‌نام‌های خرید در یک جلسه با حداکثر سرعت تقریباً همیشه به کد CAPTCHA یا مسدودیت موقت IP منجر می‌شود.
  • استفاده از یک IP یکسان برای چندین کشور. اگر یک آدرس به پورتال‌های روسی و قزاقستانی در یک بازه زمانی کوتاه مراجعه کند، این برای هر دو سیستم حفاظت مشکوک به نظر می‌رسد.
  • نادیده گرفتن User-Agent و هدرهای مرورگر. حتی با پروکسی خوب، درخواست با هدرهای «خالی» یا قدیمی مرورگر ممکن است به عنوان ربات شناسایی شود.
  • عدم چرخش در نظارت طولانی‌مدت. اگر جمع‌آوری داده‌ها به طور مداوم چند ساعت از یک IP انجام شود، احتمال مسدودیت به طور نمایی پس از ساعت اول افزایش می‌یابد.
  • بی‌توجهی به تطابق جغرافیایی. درخواست به پورتال بریتانیایی با IP از هلند ممکن است یک بار عبور کند، اما با مراجعه منظم، سیستم عدم تطابق را شناسایی کرده و شروع به درخواست تأیید می‌کند.

مهم است که دو مفهوم را تفکیک کنید: قانونی بودن دسترسی به داده‌ها و رعایت شرایط فنی استفاده از پورتال (ToS). اطلاعات مربوط به خریدهای دولتی در اکثر کشورها به طور قانونی عمومی است — این یک الزام برای شفافیت در هزینه‌های بودجه است. با این حال، پورتال خاص ممکن است قوانین خود را برای دسترسی خودکار تعیین کند: محدودیت‌های درخواست‌ها، نیاز به ثبت‌نام برای API، ممنوعیت جمع‌آوری انبوه بدون اجازه.

در عمل، بیشتر شرکت‌های فعال در تحلیل مناقصات در منطقه خاکستری کار می‌کنند: داده‌ها عمومی هستند و جمع‌آوری آن‌ها قانون دسترسی به اطلاعات را نقض نمی‌کند، اما ممکن است به طور رسمی با توافق‌نامه کاربری پورتال مغایرت داشته باشد. این یک تخلف کیفری نیست، اما در صورت جمع‌آوری سیستماتیک و تهاجمی بدون رعایت محدودیت‌های معقول، خطر مسدودیت آدرس‌های IP و حتی مکاتبه قانونی با مدیریت پورتال وجود دارد. بنابراین چرخش معقول IP از طریق پروکسی‌های مسکونی یا دیتاسنتر نه تنها یک راه‌حل فنی، بلکه یک راه‌حل شهرتی است: این بار را بر روی زیرساخت پورتال کاهش می‌دهد و درگیری‌ها را به حداقل می‌رساند.

نتیجه‌گیری

نظارت بر خریدهای دولتی و مناقصات در کشورهای مختلف نیاز به رویکردهای مختلفی برای حفاظت در برابر مسدودیت‌ها دارد. در جاهایی که API باز بدون محدودیت‌های سخت وجود دارد (Prozorro، بخشی از TED)، چرخش پایه‌ای IP کافی است. اما برای سایت‌هایی با حفاظت جدی و محدودیت‌های جغرافیایی — SAM.gov، Contracts Finder، بخش‌های خاص EIS — به زیرساخت جدی‌تری نیاز است: پروکسی‌های مسکونی با موقعیت جغرافیایی مورد نیاز، وقفه‌های بین درخواست‌ها و شبیه‌سازی دقیق رفتار یک کاربر واقعی.

اگر شما تازه شروع به ساخت سیستم نظارت بر مناقصات کرده‌اید و قصد دارید با چندین کشور به طور همزمان کار کنید، منطقی است که با پروکسی‌های مسکونی شروع کنید — آن‌ها سطح بالایی از اعتماد را از سیستم‌های حفاظتی پورتال‌ها فراهم می‌کنند و اجازه می‌دهند موقعیت جغرافیایی مورد نیاز را به دقت انتخاب کنید. برای سایت‌های کمتر محافظت شده با API باز می‌توان صرفه‌جویی کرد، با استفاده از پروکسی‌های دیتاسنتر — آن‌ها سریع‌تر و ارزان‌تر هستند در جاهایی که حفاظت تهاجمی وجود ندارد.