نظارت دستی بر مناقصات در سایتهای EIS (Zakupki.gov.ru)، Sberbank-AST، RTS-tender روزانه 3-5 ساعت زمان میبرد. اتوماسیون از طریق پارسرها این مشکل را حل میکند، اما سایتهای دولتی به طور فعال درخواستهای خودکار را مسدود میکنند — IP پس از 50-100 درخواست در لیست سیاه قرار میگیرد. پروکسیها اجازه میدهند محدودیتها را دور بزنید و اطلاعات مربوط به مناقصات جدید را به صورت 24 ساعته جمعآوری کنید بدون اینکه ریسک مسدود شدن IP اصلی شرکت وجود داشته باشد.
در این راهنما بررسی خواهیم کرد: کدام پروکسیها برای سایتهای مختلف مناقصه مناسب هستند، چگونه پارسینگ خودکار بدون مسدودیت را تنظیم کنیم، کدام ابزارهای آماده را استفاده کنیم و چگونه از اشتباهات رایج که منجر به مسدودیت میشوند، جلوگیری کنیم.
چرا سایتهای مناقصه درخواستهای خودکار را مسدود میکنند
سایتهای مناقصه دولتی و تجاری از حفاظت چندلایه برای جلوگیری از جمعآوری خودکار دادهها استفاده میکنند. این موضوع به چند دلیل مرتبط است: بار روی سرورها از طرف پارسرها ممکن است به 60-70% از ترافیک کل برسد، رقبای شما از دادههای جمعآوری شده برای کاهش قیمت استفاده میکنند و همچنین الزامات حفاظت از دادههای شخصی شرکتکنندگان در خرید وجود دارد.
سیستم اطلاعاتی یکپارچه (EIS) — امنترین سایت است. این سیستم پارامترهای زیر را برای هر درخواست ثبت میکند: آدرس IP، User-Agent مرورگر، فرکانس درخواستها، توالی اقدامات در سایت. اگر از یک IP بیش از 100 درخواست در ساعت ارسال شود یا درخواستها به طور بسیار یکنواخت (مثلاً هر 5 ثانیه) ارسال شوند، IP به مدت 24-72 ساعت مسدود میشود. این مسدودیت به کل دامنه زیرشبکه گسترش مییابد، بنابراین ممکن است کل شرکت آسیب ببیند.
سایتهای تجاری (Sberbank-AST، RTS-tender، Fabricant) از حفاظت ملایمتری استفاده میکنند، اما همچنین فعالیتهای مشکوک را زیر نظر دارند. سه عامل اصلی مسدودیت: عدم وجود کوکیها، غیرفعال بودن JavaScript، ناوبری بسیار سریع در صفحات (کمتر از 2 ثانیه برای هر صفحه)، و زمانهای یکسان بین درخواستها است.
یک مورد واقعی: شرکتی که تجهیزات را تأمین میکند، پارسری را برای نظارت بر مناقصات در EIS بدون پروکسی تنظیم کرد. در دو ساعت اول کار، پارسر اطلاعات مربوط به 340 مناقصه را جمعآوری کرد، اما سپس IP دفتر در لیست سیاه قرار گرفت. کارکنان نتوانستند به حساب شخصی EIS برای ارسال درخواستها به مدت 48 ساعت دسترسی پیدا کنند. این شرکت 3 مناقصه مهم به ارزش کل 12 میلیون روبل را از دست داد.
کدام نوع پروکسی برای نظارت بر مناقصات انتخاب کنیم
برای نظارت بر سایتهای مناقصه، سه نوع پروکسی مناسب هستند که هر کدام ویژگیهای خاص خود را دارند. انتخاب بستگی به حجم پارسینگ، بودجه و الزامات مربوط به قابلیت اطمینان دارد.
| نوع پروکسی | قابلیت اطمینان برای EIS | سرعت | کاربرد |
|---|---|---|---|
| پروکسیهای دیتاسنتر | متوسط (بیشتر مسدود میشوند) | بسیار بالا (50-100 میلیثانیه) | سایتهای تجاری، تست |
| پروکسیهای مسکونی | بالا (IPهای واقعی) | متوسط (200-500 میلیثانیه) | EIS، Sberbank-AST، پارسینگ 24 ساعته |
| پروکسیهای موبایل | حداکثری (IPهای اپراتورها) | متوسط (300-600 میلیثانیه) | EIS با الزامات بالای قابلیت اطمینان |
پروکسیهای مسکونی — انتخاب بهینه برای اکثر وظایف نظارت بر مناقصات هستند. آنها از آدرسهای IP کاربران واقعی خانگی استفاده میکنند، بنابراین سایتها درخواستها را به عنوان اقدامات افراد عادی درک میکنند. برای EIS توصیه میشود از پروکسیهای مسکونی روسی با روتیشن هر 10-15 دقیقه استفاده کنید. این کار اجازه میدهد تا اطلاعات مربوط به 500-1000 مناقصه روزانه بدون هیچ مسدودیتی جمعآوری شود.
پروکسیهای دیتاسنتر برای سایتهای تجاری کمتر محافظت شده مناسب هستند: RTS-tender، Fabricant، B2B-Center. آنها 3-5 برابر ارزانتر از پروکسیهای مسکونی هستند و سریعتر کار میکنند، اما EIS اغلب این IPها را شناسایی و مسدود میکند. از آنها برای تست اولیه پارسر یا نظارت بر سایتهای منطقهای کوچک استفاده کنید.
پروکسیهای موبایل بالاترین سطح اعتماد را دارند، زیرا از IPهای اپراتورهای موبایل (MTS، Beeline، MegaFon) استفاده میکنند. سایتها تقریباً هرگز این آدرسها را مسدود نمیکنند، زیرا ممکن است هزاران کاربر واقعی پشت یک IP اپراتور وجود داشته باشند. نقطه ضعف — هزینه بالاتر. از پروکسیهای موبایل استفاده کنید اگر با مناقصات بسیار ارزشمند کار میکنید یا قبلاً در استفاده از پروکسیهای مسکونی مسدودیت دریافت کردهاید.
ویژگیهای حفاظت سایتهای مختلف: EIS، Sberbank-AST، RTS-tender
هر سایت مناقصه ویژگیهای خاص خود را برای حفاظت در برابر پارسینگ دارد. درک این مکانیزمها اجازه میدهد تا پارسر را طوری تنظیم کنید که ریسک مسدودیت را به حداقل برسانید.
EIS (Zakupki.gov.ru) — حداکثر حفاظت
سیستم اطلاعاتی یکپارچه از سختترین حفاظتها در میان تمام سایتها استفاده میکند. مکانیزمهای اصلی: محدودیت 100 درخواست در ساعت از یک IP، پشتیبانی اجباری از کوکیها و JavaScript، بررسی رفرر (از کجا کاربر آمده است)، تحلیل عوامل رفتاری (زمان در صفحه، حرکت ماوس، اسکرول).
توصیهها برای پارسینگ EIS: از پروکسیهای مسکونی یا موبایل با IPهای روسی استفاده کنید، روتیشن خودکار پروکسی را هر 80-90 درخواست فعال کنید (تا به محدودیت نرسید)، تأخیرهای تصادفی بین درخواستها از 3 تا 8 ثانیه اضافه کنید، از مرورگرهای headless (Puppeteer، Selenium) به جای درخواستهای ساده HTTP استفاده کنید — آنها رفتار واقعی مرورگر را به طور کامل شبیهسازی میکنند.
Sberbank-AST — سطح متوسط حفاظت
سایت Sberbank محدودیتهای ملایمتری دارد: محدودیت حدود 200-300 درخواست در ساعت، کوکیها اجباری هستند، اما JavaScript همیشه بررسی نمیشود، مسدودیت در صورت رفتار واضح رباتی (فاصلههای یکسان بین درخواستها، عدم وجود رفرر) رخ میدهد.
برای Sberbank-AST پروکسیهای مسکونی با روتیشن هر 200 درخواست کافی است. میتوانید از ابزارهای پارسینگ سادهتر بدون شبیهسازی کامل مرورگر استفاده کنید، اما حتماً تأخیرهای تصادفی 2-5 ثانیه و هدرهای User-Agent صحیح را اضافه کنید.
RTS-tender، Fabricant، B2B-Center — حفاظت پایه
سایتهای تجاری حداقل حفاظت را دارند: محدودیت 500+ درخواست در ساعت، بررسی اصلی — وجود کوکیها و User-Agent مناسب، به ندرت پروکسیهای دیتاسنتر را مسدود میکنند.
برای این سایتها حتی پروکسیهای دیتاسنتر با روتیشن پایه مناسب هستند. میتوانید از پارسرهای HTTP ساده بدون شبیهسازی مرورگر استفاده کنید. نکته اصلی — درخواستها را خیلی سریع ارسال نکنید (حداقل 1-2 ثانیه بین درخواستها) و به طور دورهای IP را تغییر دهید.
ابزارهای آماده برای پارسینگ مناقصات بدون برنامهنویسی
برای نظارت بر مناقصات نیازی به نوشتن کد از ابتدا نیست. راهحلهای آماده با رابط گرافیکی وجود دارند که از کار با پروکسی پشتیبانی میکنند.
Octoparse — پارسر بصری با پشتیبانی از پروکسی و برنامهریز وظایف. اجازه میدهد پارسری برای هر سایت مناقصه از طریق رابط گرافیکی ایجاد کنید: شما فقط بر روی عناصر صفحهای که باید جمعآوری شوند (شماره مناقصه، سفارشدهنده، مبلغ، تاریخ پایان) کلیک میکنید و برنامه به طور خودکار الگوریتم پارسینگ را ایجاد میکند. در تنظیمات میتوانید لیست پروکسیها را مشخص کنید و Octoparse به طور خودکار آنها را روتیشن میکند. هزینه — از 75 دلار در ماه، نسخه رایگان با محدودیتها وجود دارد.
ParseHub — مشابه Octoparse با رابط سادهتر. برای مبتدیان مناسب است. از سایتهای JavaScript پشتیبانی میکند (مهم برای EIS)، کار از طریق پروکسی، صادرات دادهها به Excel/Google Sheets. نسخه رایگان اجازه میدهد تا 5 پروژه پارسینگ ایجاد کنید. نسخه پرداختی — از 149 دلار در ماه با امکان اجرای پارسینگ طبق برنامه (مثلاً هر 2 ساعت بررسی مناقصات جدید).
Screaming Frog SEO Spider — در ابتدا ابزاری برای SEO است، اما برای پارسینگ دادههای ساختاری بسیار مناسب است. از پروکسی پشتیبانی میکند و میتواند دادهها را از صفحات بر اساس انتخابگرهای CSS مشخص شده جمعآوری کند. نقطه ضعف — نیاز به کمی آشنایی با ساختار HTML صفحات دارد. هزینه — 149 پوند در سال (حدود 15,000 روبل)، که ارزانتر از مشابهها است.
سرویسهای تخصصی نظارت بر مناقصات — Контур.Закупки، Тендер.Про، B2B-Center دارای سیستمهای نظارتی داخلی با فیلترها و اعلانها هستند. آنها نیازی به تنظیم پروکسی ندارند، زیرا از طرف سرویس کار میکنند. هزینه — از 5,000 تا 30,000 روبل در ماه بسته به تعداد دستههای تحت نظارت. نقطه ضعف — شما به امکانات سرویس وابسته هستید و نمیتوانید دادههای اضافی جمعآوری کنید یا آنها را در CRM خود ادغام کنید.
توصیه برای انتخاب ابزار:
- برای مبتدیان بدون مهارتهای فنی — ParseHub یا Octoparse
- برای پارسینگ 3-5 سایت با ادغام در CRM — Screaming Frog + تنظیمات صادرات
- برای نظارت فقط بر EIS بدون دادههای اضافی — سرویسهای تخصصی
- برای وظایف پیچیده (تحلیل مستندات مناقصات، پارسینگ فایلهای پیوست شده) — توسعه با Python و Selenium
تنظیمات مرحله به مرحله نظارت از طریق پروکسی در 20 دقیقه
تنظیم نظارت خودکار بر مناقصات را با مثال Octoparse — یکی از محبوبترین ابزارها با رابط گرافیکی بررسی خواهیم کرد. این مثال برای نظارت بر EIS، Sberbank-AST و سایر سایتها مناسب است.
مرحله 1: دریافت پروکسی. در یک ارائهدهنده پروکسی ثبتنام کنید و لیست آدرسهای IP با پورتها و اطلاعات احراز هویت را دریافت کنید. برای نظارت بر EIS حداقل 10 پروکسی مسکونی روسی با روتیشن خودکار توصیه میشود. ارائهدهنده اطلاعات را به فرمت: IP:PORT:USERNAME:PASSWORD (مثلاً 185.123.45.67:8000:user123:pass456) ارائه میدهد.
مرحله 2: نصب و تنظیم Octoparse. Octoparse را از وبسایت رسمی دانلود کرده و بر روی کامپیوتر نصب کنید. پس از راهاندازی، یک پروژه جدید پارسینگ ایجاد کنید و URL صفحه نتایج جستجوی مناقصات در EIS (مثلاً جستجو بر اساس کلمه کلیدی "تجهیزات" در منطقه شما) را وارد کنید.
مرحله 3: تنظیم پروکسی در Octoparse. به Settings → Proxy Settings بروید. حالت "Use custom proxy" را انتخاب کنید. پروکسیهای خود را به لیست اضافه کنید و IP، پورت، نوع (HTTP یا SOCKS5)، نام کاربری و رمز عبور را مشخص کنید. گزینه "Rotate proxy for each request" را فعال کنید — این کار باعث میشود برنامه پس از هر درخواست پروکسی را تغییر دهد و بار را توزیع کند و از مسدودیتها جلوگیری کند.
مرحله 4: ایجاد الگوریتم پارسینگ. در حالت سازنده بصری بر روی عناصر صفحهای که باید جمعآوری شوند کلیک کنید: شماره خرید، نام، سفارشدهنده، قیمت اولیه، تاریخ پایان ارسال درخواستها، منطقه. Octoparse به طور خودکار ساختار دادهها را شناسایی کرده و الگوریتم جمعآوری را ایجاد میکند. نتیجه را در 5-10 رکورد اول بررسی کنید — برنامه نتیجه اولیه پارسینگ را نشان میدهد.
مرحله 5: تنظیم صفحهبندی. سایتهای مناقصه نتایج را به صورت صفحهای نمایش میدهند (معمولاً 10-50 مناقصه در هر صفحه). در Octoparse عمل "Click pagination button" را اضافه کنید و دکمه "صفحه بعدی" را مشخص کنید. برنامه به طور خودکار به صفحات مختلف رفته و تمام نتایج را جمعآوری میکند.
مرحله 6: اضافه کردن تأخیرها. در تنظیمات پارسر تأخیرهای تصادفی بین درخواستها را تنظیم کنید: حداقل 3 ثانیه، حداکثر 8 ثانیه. این کار رفتار یک کاربر واقعی را شبیهسازی کرده و ریسک مسدودیت را کاهش میدهد. همچنین پس از بارگذاری هر صفحه 5-10 ثانیه تأخیر اضافه کنید — این زمان به عناصر JavaScript اجازه میدهد تا به طور کامل بارگذاری شوند.
مرحله 7: تنظیم برنامهریزی. در بخش "Task Schedule" تنظیمات اجرای خودکار پارسینگ را انجام دهید. برای نظارت بر مناقصات جدید، بهتر است بررسیها را هر 2-4 ساعت در ساعات کاری انجام دهید. به عنوان مثال: 9:00، 13:00، 17:00، 21:00. این کار اجازه میدهد تا در طول روز بدون بار اضافی بر روی سایت، انتشارات جدید را پیگیری کنید.
مرحله 8: صادرات دادهها. صادرات خودکار دادههای جمعآوری شده را به فرمت مناسب تنظیم کنید: Excel، Google Sheets، پایگاه داده MySQL یا ارسال از طریق API به سیستم CRM خود. Octoparse میتواند به طور خودکار دادههای جدید را پس از هر بار اجرای پارسر ارسال کند، که به شما اجازه میدهد تا در زمان واقعی از مناقصات جدید مطلع شوید.
تنظیم روتیشن پروکسی و تأخیرها بین درخواستها
تنظیم صحیح روتیشن پروکسی و تأخیرها — عامل کلیدی موفقیت پارسینگ بدون مسدودیت است. حتی با پروکسیهای با کیفیت، پیکربندی نادرست منجر به مسدودیت میشود.
استراتژیهای روتیشن پروکسی: سه رویکرد اصلی برای تغییر آدرسهای IP در حین پارسینگ وجود دارد.
روتیشن پس از هر درخواست — امنترین، اما کندترین روش است. هر درخواست به سایت با یک IP جدید ارسال میشود. این روش برای EIS در حین پارسینگ حجمهای بزرگ داده (1000+ مناقصه) مناسب است. نقطه ضعف — زمان پارسینگ را افزایش میدهد، زیرا برای ایجاد یک اتصال جدید از طریق پروکسی 200-500 میلیثانیه زمان میبرد.
روتیشن بر اساس تعداد درخواستها — تعادل بهینه بین سرعت و امنیت. یک پروکسی برای 50-100 درخواست استفاده میشود و سپس به پروکسی بعدی تغییر میکند. برای EIS توصیه میشود پروکسیها را هر 80 درخواست تغییر دهید (کمی پایینتر از محدودیت 100). برای سایتهای تجاری میتوان این عدد را تا 200-300 درخواست برای یک IP افزایش داد.
روتیشن بر اساس زمان — تغییر IP هر 10-15 دقیقه بدون توجه به تعداد درخواستها. این روش برای پارسینگ طولانیمدت با شدت کم (مثلاً نظارت بر بهروزرسانیها در طول روز) مناسب است. برخی از ارائهدهندگان پروکسی روتیشن خودکار بر اساس زمان ارائه میدهند — شما یک URL پروکسی دریافت میکنید، اما IP به طور خودکار هر N دقیقه تغییر میکند.
تنظیم تأخیرها بین درخواستها: یک انسان نمیتواند به سرعت بین صفحات جابجا شود — او به زمان برای خواندن، اسکرول کردن و کلیک نیاز دارد. پارسر باید این رفتار را شبیهسازی کند.
| سایت | تأخیر بین درخواستها | تأخیر پس از بارگذاری صفحه |
|---|---|---|
| EIS (Zakupki.gov.ru) | 3-8 ثانیه (تصادفی) | 5-10 ثانیه |
| Sberbank-AST | 2-5 ثانیه (تصادفی) | 3-7 ثانیه |
| RTS-tender، Fabricant | 1-3 ثانیه (تصادفی) | 2-4 ثانیه |
مهم است که از تأخیرهای تصادفی در محدوده مشخص شده استفاده کنید. اگر پارسر درخواستها را دقیقاً هر 5 ثانیه ارسال کند، سیستم حفاظت به راحتی ربات را شناسایی میکند. تابع تأخیر تصادفی در تمام ابزارهای پارسینگ محبوب وجود دارد.
نکته: "حالت شب" پارسینگ را اضافه کنید. از ساعت 23:00 تا 7:00 میتوانید شدت درخواستها را افزایش دهید (تأخیرها را کاهش دهید)، زیرا در این زمان فعالیت کاربران واقعی در سایتها حداقل است و سیستمهای حفاظت کمتر سختگیر هستند. این کار اجازه میدهد تا دادههای بیشتری را در همان زمان جمعآوری کنید.
اشتباهات رایج که منجر به مسدودیت میشوند
حتی با استفاده از پروکسیهای با کیفیت، پارسر ممکن است به دلیل اشتباهات فنی در تنظیمات به مسدودیت دچار شود. در اینجا رایجترین مشکلات و راهحلهای آنها آورده شده است.
اشتباه 1: استفاده از User-Agent یکسان. User-Agent رشتهای است که به سایت میگوید کدام مرورگر و سیستمعامل استفاده میشود. اگر تمام درخواستها با User-Agent یکسان (مثلاً استاندارد برای کتابخانه requests در Python) ارسال شوند، این نشانه واضحی از ربات است. راهحل: از لیستی از 10-20 User-Agent محبوب برای مرورگرهای مختلف (Chrome، Firefox، Safari) و سیستمعاملها (Windows، macOS، Linux) استفاده کنید و آنها را به طور تصادفی در هر درخواست روتیشن کنید.
اشتباه 2: غیرفعال بودن کوکیها. بیشتر سایتها در اولین بازدید کوکیها را تنظیم کرده و وجود آنها را در درخواستهای بعدی بررسی میکنند. اگر پارسر کوکیها را ذخیره نکند، هر درخواست به عنوان اولین بازدید از یک دستگاه جدید به نظر میرسد که مشکوک است. راهحل: پشتیبانی از کوکیها را در تنظیمات پارسر فعال کنید. در Octoparse و ParseHub این کار به طور خودکار انجام میشود. اگر خودتان پارسر را با Python مینویسید، از کتابخانه requests.Session() استفاده کنید — این کتابخانه به طور خودکار کوکیها را بین درخواستها ذخیره میکند.
اشتباه 3: پارسینگ بدون اجرای JavaScript. سایتهای مدرن، از جمله EIS، به طور فعال از JavaScript برای بارگذاری محتوا استفاده میکنند. اگر پارسر فقط کد HTML صفحه را دانلود کند بدون اینکه JavaScript را اجرا کند، دادههای ناقصی دریافت خواهد کرد و سرور رفتار مشکوکی را ثبت خواهد کرد. راهحل: از مرورگرهای headless (Puppeteer، Selenium، Playwright) استفاده کنید که به طور کامل صفحه را بارگذاری کرده، JavaScript را اجرا میکنند و حتی میتوانند صفحه را برای بارگذاری محتوای دینامیک اسکرول کنند.
اشتباه 4: نادیده گرفتن کپچا. برخی از سایتها در صورت فعالیت مشکوک کپچا را نمایش میدهند. اگر پارسر نتواند کپچا را حل کند، متوقف میشود و شروع به ارسال درخواستهای تکراری میکند که منجر به مسدودیت IP میشود. راهحل: از خدمات حل خودکار کپچا (2Captcha، Anti-Captcha) استفاده کنید — هزینه آنها حدود 1-3 دلار برای 1000 کپچای حل شده است. بیشتر ابزارهای پارسینگ دارای ادغام داخلی با چنین خدماتی هستند.
اشتباه 5: پارسینگ در ساعات اوج بار. از ساعت 10:00 تا 16:00 در روزهای کاری، حداکثر فعالیت کاربران در سایتهای مناقصه وجود دارد و سیستمهای حفاظت سختترین کار خود را انجام میدهند. پارسینگ شدید در این زمان سریعتر منجر به مسدودیت میشود. راهحل: حجم اصلی پارسینگ را در ساعات شب (18:00-23:00) یا شب انجام دهید. در ساعات کاری فقط بررسیهای نقطهای از مناقصات جدید با شدت حداقل انجام دهید.
اشتباه 6: استفاده از پروکسیهای "کثیف". برخی از ارائهدهندگان پروکسی ارزان قیمت IPهایی را میفروشند که قبلاً برای اسپم یا فعالیتهای مشکوک دیگر استفاده شدهاند و در لیست سیاه قرار دارند. راهحل: پروکسیها را قبل از استفاده انبوه تست کنید. 20-30 درخواست تستی به سایت از هر پروکسی جدید ارسال کنید و بررسی کنید که آیا کپچا یا مسدودیت ایجاد میشود یا خیر. اگر پروکسی "کثیف" باشد، آن را از ارائهدهنده جایگزین کنید.
مقیاسپذیری: نظارت بر 10+ سایت به طور همزمان
وقتی نظارت پایه بر یک یا دو سایت تنظیم شده و به طور پایدار کار میکند، مسئله مقیاسپذیری پیش میآید — پارسینگ همزمان دهها سایت مناقصه برای دستیابی به حداکثر پوشش بازار.
توزیع پروکسیها بین سایتها. از پروکسیهای یکسان برای سایتهای مختلف به طور همزمان استفاده نکنید. مجموعههای پروکسی ایجاد کنید: به عنوان مثال، 10 پروکسی برای EIS، 5 برای Sberbank-AST، 5 برای RTS-tender و غیره. این کار از بروز وضعیتی جلوگیری میکند که مسدودیت در یک سایت بر عملکرد پارسر در سایت دیگر تأثیر بگذارد.
اولویتبندی سایتها. همه سایتهای مناقصه برای کسب و کار شما به یک اندازه مهم نیستند. 3-5 سایت کلیدی را که بیشترین مناقصات مرتبط در آنها منتشر میشود، شناسایی کنید و منابع بیشتری به آنها اختصاص دهید: بهترین پروکسیها، بررسیهای بیشتر، پارسینگ دقیقتر (شامل جمعآوری مستندات). برای سایر سایتها از نظارت پایه فقط بر پارامترهای اصلی مناقصات استفاده کنید.
اتوماسیون پردازش دادهها. در حین پارسینگ 10+ سایت، شما روزانه صدها مناقصه جدید دریافت خواهید کرد. پردازش دستی غیرممکن است. فیلتر خودکار را تنظیم کنید: بر اساس کلمات کلیدی در عنوان مناقصه، بر اساس منطقه سفارشدهنده، بر اساس دامنه قیمت اولیه، بر اساس تاریخ پایان پذیرش درخواستها. فقط مناقصاتی که از تمام فیلترها عبور کردهاند، به لیست برای بررسی دستی وارد میشوند.
ادغام با CRM و سیستمهای اعلان. ارسال خودکار مناقصات فیلتر شده به سیستم CRM خود یا پیامرسان شرکتی (Slack، Telegram، Microsoft Teams) را تنظیم کنید. مدیران به طور واقعی از مناقصات جدید مناسب مطلع خواهند شد و میتوانند به سرعت در مورد شرکت در آنها تصمیم بگیرند.
نظارت بر عملکرد پارسرها. در حین کار با چندین سایت، پیگیری وضعیت هر پارسر بسیار مهم است. یک داشبورد تنظیم کنید که نشان دهد: آخرین بار هر پارسر چه زمانی اجرا شده، چند مناقصه جمعآوری کرده، آیا خطا یا مسدودیتی وجود داشته است. ابزارهایی مانند Octoparse داشبوردهای داخلی دارند. اگر از اسکریپتهای خود استفاده میکنید، میتوانید لاگگذاری را در Google Sheets یا سیستمهای نظارتی تخصصی مانند Grafana تنظیم کنید.
مثال از یک سیستم مقیاسبندی شده نظارت:
شرکتی که تجهیزات IT را تأمین میکند، نظارت بر 15 سایت مناقصه را تنظیم کرده است: EIS، Sberbank-AST، RTS-tender، 8 سایت منطقهای و 4 سایت تجاری. از 50 پروکسی مسکونی استفاده میشود که به مجموعهها تقسیم شدهاند. پارسرها هر 2 ساعت اجرا میشوند و به طور متوسط 600 مناقصه جدید در روز جمعآوری میکنند. فیلترهای خودکار بر اساس کلمات کلیدی ("کامپیوتر"، "سرور"، "تجهیزات شبکه") و منطقه (مسکو، منطقه مسکو، سنپترزبورگ) 85% مناقصات غیر مرتبط را حذف میکنند. 90 مناقصه باقیمانده به طور خودکار به کانال تلگرام بخش فروش منتقل میشود. نتیجه: زمان نظارت بر مناقصات از 4 ساعت در روز به 30 دقیقه کاهش یافته و تعداد درخواستهای ارسال شده 40% افزایش یافته است.
نتیجهگیری
اتوماسیون نظارت بر مناقصات دولتی و تجاری از طریق پروکسی امکان دریافت اطلاعات در مورد خریدهای جدید در زمان واقعی را فراهم میکند، تا 4 ساعت در روز در جستجوی دستی صرفهجویی میکند و تعداد درخواستهای ارسال شده را 30-50% افزایش میدهد. عوامل کلیدی موفقیت: انتخاب صحیح نوع پروکسی بسته به سایت، تنظیم صحیح روتیشن IP و تأخیرها بین درخواستها، استفاده از ابزارهایی با پشتیبانی از JavaScript و کوکیها.
برای نظارت بر سایتهای محافظت شده مانند EIS از پروکسیهای مسکونی یا موبایل با آدرسهای IP روسی استفاده کنید — آنها حداکثر سطح اعتماد و حداقل ریسک مسدودیت را فراهم میکنند. برای سایتهای تجاری با حفاظت پایه، پروکسیهای دیتاسنتر با هزینه کمتر مناسب هستند. با اتوماسیون 2-3 سایت کلیدی شروع کنید، تنظیمات را بهینه کنید و سپس سیستم را برای کل بازار مناقصات در صنعت خود مقیاسبندی کنید.
اگر قصد دارید نظارت 24 ساعته بر سایتهای مناقصه را تنظیم کنید، توصیه میکنیم از پروکسیهای مسکونی استفاده کنید — آنها عملکرد پایدار پارسرها را بدون مسدودیت حتی در صورت شدت بالای درخواستها به سایتهای دولتی محافظت شده تضمین میکنند.