سوال «هزینه استخراج یک میلیون صفحه چقدر است» تقریباً همیشه پاسخ بیفایدهای دریافت میکند: «بستگی به سایت دارد». بستگی دارد - اما نه بهطور معماگونه. هزینه به چهار جزء قابل اندازهگیری تقسیم میشود و هر یک از آنها را میتوان از قبل محاسبه کرد، قبل از اینکه صورتحساب ترافیک بهطور واقعی بیاید. در زیر - ریاضیات عملی: از کجا گیگابایتها بهدست میآید، چرا قیمت «به ازای هر گیگابایت» چیزی درباره بودجه شما نمیگوید و چه اهرمهایی واقعاً هزینه را بهطور قابل توجهی کاهش میدهند.
معیار اصلی - نه قیمت به ازای هر گیگابایت، بلکه قیمت به ازای هر درخواست موفق
ارائهدهندگان در اعداد در ویترین رقابت میکنند: ۱ دلار/گیگابایت، ۳ دلار/گیگابایت، ۰.۳۰ دلار به ازای هر هزار درخواست. این اعداد در مقایسه با یکدیگر بیمعنی هستند، مگر اینکه آنها را به یک مقدار واحد تبدیل کنید - هزینه یک استخراج موفق داده. دقیقاً بر این نکته تأکید میکنند بررسیهای بازار: اعداد خام «به ازای هر گیگابایت» و «به ازای هر ۱۰۰۰ درخواست» بدون در نظر گرفتن وزن صفحه و سهم پاسخهای موفق قابل مقایسه نیستند.
فرمولی که برای برنامهریزی کافی است:
بودجه = (تعداد صفحات هدف ÷ سهم موفقیت) × وزن متوسط صفحه × قیمت به ازای هر گیگابایت + هزینههای ثابت
سه متغیر در بخش اول و یک در بخش دوم. هر یک را بررسی میکنیم.
جزء ۱: وزن یک صفحه چقدر است
این متغیر کمارزشترین است. دامنه اینجا - نه درصدها، بلکه چندین برابر است و بستگی به این دارد که چگونه صفحه را دریافت میکنید:
- درخواست HTTP معمولی بدون رندرینگ - ۵۰–۱۵۰ کیلوبایت. شما فقط یک سند HTML دریافت میکنید.
- رندرینگ کامل در مرورگر headless - ۱۰۰–۳۰۰ کیلوبایت با تنظیمات دقیق.
- مرورگر «بههمراه»، بدون فیلترها - ۰.۲–۱ مگابایت و بالاتر. شما برای تصاویر، فونتها، اسکریپتهای تبلیغاتی، تحلیل و ویدئو پلیرهایی که به آنها نیاز ندارید، هزینه میپردازید.
تفاوت بین مورد اول و سوم - تا بیست برابر در یک صفحه یکسان. برای یک میلیون صفحه این تفاوت بین ۵۰ گیگابایت و ۱۰۰۰ گیگابایت ترافیک است.
جزء ۲: قیمت گیگابایت بر اساس نوع پروکسی
کریدورهای بازار مربوط به سال ۲۰۲۶ به این صورت است:
- دادهمرکز - ۰.۵۰–۳ دلار به ازای هر گیگابایت یا هزینه ماهانه برای IP.
- رایانههای خانگی - ۱–۸ دلار به ازای هر گیگابایت. معیار کیفیت قیمت: حدود ۱ دلار/گیگابایت - پیشنهاد عالی، ۳–۴ دلار/گیگابایت - میانه بازار، ۵–۸ دلار/گیگابایت - بخش شرکتی.
- موبایل (۴G/۵G) - ۲–۱۵ دلار به ازای هر گیگابایت.
- ISP / رایانههای خانگی استاتیک - ۱.۵–۵ دلار به ازای هر IP در ماه.
- APIهای scraping آماده - ۰.۳۰–۱۲ دلار به ازای هر ۱۰۰۰ درخواست.
وسوسه گرفتن ارزانترین گزینه قابل درک است، اما این موضوع با جزء بعدی شکسته میشود.
جزء ۳: سهم موفقیت - ضریب پنهان بودجه
هر درخواست مسدود شده را شما همچنان پرداخت میکنید: ترافیک مصرف شده، دادهای وجود ندارد. بنابراین، تعداد واقعی درخواستها برابر با هدف تقسیم بر سهم موفقیت است و ضریب بهطور غیرخطی افزایش مییابد:
- موفقیت ۹۵% - پرداخت اضافی ۵%؛
- موفقیت ۷۰% - شما به حدود ۴۰۰ هزار درخواست بیشتر برای هر میلیون رکورد هدف نیاز خواهید داشت؛
- موفقیت ۶۰% - درخواستها به ۲.۵ برابر بیشتر نیاز دارند.
به همین دلیل است که دادهمرکز ارزان به قیمت ۰.۵۰ دلار/گیگابایت در یک سایت محافظت شده، گرانتر از رایانههای خانگی به قیمت ۳ دلار/گیگابایت میشود: Cloudflare، DataDome و Akamai بهطور پیشفرض ASNهای دادهمرکزی را علامتگذاری میکنند و شما برای جریان ردها هزینه میپردازید. برآوردها در ژوئیه ۲۰۲۶ نشان میدهد که پروکسیهای موبایل ۹۰–۹۵% موفقیت را در برابر سیستمهای ضد ربات مدرن حفظ میکنند - جایی که دادهمرکز اصلاً عبور نمیکند.
نتیجه عملی: نوع پروکسی بر اساس قیمت انتخاب نمیشود، بلکه بر اساس هدف. دایرکتوریهای ساده و APIهای باز - دادهمرکز. فروشگاهها، شبکههای اجتماعی، تجمیعکنندهها با حفاظت - رایانههای خانگی. سایتهای بسیار تهاجمی و نسخههای موبایل سایتها - موبایل.
سه سناریو برای یک میلیون صفحه
بیایید اعداد را با هم جمع کنیم. شرط یکسان است: یک میلیون صفحه مفید.
سناریو A - «منظم». کلاینت HTTP بدون مرورگر، ۱۰۰ کیلوبایت به ازای هر صفحه، رایانههای خانگی به قیمت ۲ دلار/گیگابایت، موفقیت ۹۵%. در مجموع: ۱.۰۵ میلیون درخواست × ۱۰۰ کیلوبایت ≈ ۱۰۵ گیگابایت ≈ ۲۱۰ دلار.
سناریو B - «معمولی». مرورگر headless با فیلتر کردن منابع، ۲۵۰ کیلوبایت به ازای هر صفحه، رایانههای خانگی به قیمت ۳ دلار/گیگابایت، موفقیت ۸۵%. در مجموع: ۱.۱۸ میلیون × ۲۵۰ کیلوبایت ≈ ۲۹۵ گیگابایت ≈ ۸۸۵ دلار.
سناریو C - «بدون تنظیم». مرورگر همه چیز را بارگذاری میکند، ۸۰۰ کیلوبایت به ازای هر صفحه، رایانههای خانگی به قیمت ۵ دلار/گیگابایت، موفقیت ۶۵%. در مجموع: ۱.۵۴ میلیون × ۸۰۰ کیلوبایت ≈ ۱۲۳۰ گیگابایت ≈ ۶۱۵۰ دلار.
تفاوت بین A و C - تقریباً سی برابر، با یک نتیجه یکسان در خروجی. هیچ یک از متغیرها غیرمعمول نبودند: همه اینها تنظیمات معمولی در برابر دقت معمولی است. برای راهنمایی: برآوردهای صنعتی برای یک شرکت متوسط که یک میلیون درخواست در ماه از سایتهای مختلف پردازش میکند، ۱۰۰۰–۳۰۰۰ دلار در ماه است - یعنی بین سناریوهای B و C.
چه چیزی در ترافیک گنجانده نمیشود، اما در صورتحساب قرار میگیرد
پروکسی - معمولاً بزرگترین، اما نه تنها مورد:
- کپچا. حل آن ۰.۵۰–۳ دلار به ازای هر هزار است. با ۵% صفحات دارای کپچا در یک میلیون، این ۵۰ هزار حل است - ۲۵–۱۵۰ دلار. قابل تحمل. با ۵۰% - این دیگر ۲۵۰–۱۵۰۰ دلار است و سوال دیگر یک سوال فنی نیست.
- زیرساخت. ۲۰–۲۰۰ دلار در ماه برای حجمهای کوچک؛ ۲۰۰–۵۰۰ دلار در مقیاس کوچک و ۳۰۰۰–۱۰,۰۰۰ دلار برای جریانهای واقعاً بزرگ.
- ذخیرهسازی و ترافیک خروجی. حدود ۰.۰۲۳ دلار به ازای هر گیگابایت در ماه برای ذخیرهسازی شیء و ۰.۰۹ دلار به ازای هر گیگابایت خروجی در ابرهای بزرگ - مقدار کمی در صدها گیگابایت، اما مقدار قابل توجهی در دهها ترابایت.
- افراد. گرانترین ردیف که فراموش میشود. پارسر آماده برای تولید - ۸–۱۲ هفته توسعه، سپس ۴–۸ ساعت در ماه برای سایتهای ساده و ۲۰+ ساعت برای سایتهای محافظت شده. با نرخ ۷۵ دلار/ساعت، پشتیبانی از منبع محافظت شده بیش از ۱۵۰۰ دلار در ماه هزینه دارد - بیشتر از کل ترافیک در سناریو B.
پنج اهرم که واقعاً هزینه را کاهش میدهند
- مرورگر را در جاهایی که لازم نیست حذف کنید. اگر دادهها در HTML یا API داخلی وجود دارند - رندرینگ اضافی است. این اصلیترین اهرم است: کاهش ۶۰–۸۰% ترافیک.
- منابع را مسدود کنید، اگر مرورگر ضروری است. تصاویر، فونتها، رسانه، اسکریپتهای تبلیغاتی و تحلیلی با یک قانون برای ضبط درخواستها خاموش میشوند و صرفهجویی چند برابری ایجاد میکنند. تجزیه و تحلیل دقیق روشها - در مطلبی درباره بهینهسازی مصرف ترافیک از طریق پروکسی.
- اهداف را بر اساس پیچیدگی مرتب کنید. عبور از کل لیست از طریق گرانترین کانال - رایجترین اشتباه در بودجه. منابع را به «باز»، «محافظت شده به طور متوسط» و «تهاجمی» تقسیم کنید و برای هر یک نوع پروکسی خود را تعیین کنید.
- سیاستهای تکرار را با آگاهی بسازید. تکرار کور سه بار بر روی شکست، ترافیک را برای اهداف مشکلدار سه برابر میکند. تکرار فقط برای کدهای پاسخ که تکرار آنها منطقی است و با IP دیگری، نه با همان، ارزش دارد.
- کش کنید و یک چیز را دو بار بارگذاری نکنید. لیستها، صفحهبندی، عبورهای تکراری از دایرکتوری - در اینجا به راحتی دهها درصد از بودجه گم میشود.
کی ارزانتر است API آماده و کی استک خودتان
باید هزینه کل مالکیت را محاسبه کنید، نه فقط ردیف «به ازای هر گیگابایت». معیارهای بازار: پارسر خودتان برای ۱۰۰ هزار صفحه در ماه ۷۰۰–۱۶۵۰ دلار هزینه دارد با احتساب پشتیبانی، در حالی که API آماده برای همان حجم - ۵۰–۳۰۰ دلار است. در اعداد بزرگ، تصویر تغییر میکند: ۱ میلیون درخواست در ماه از طریق API ۲۵۰–۲۴۹۰ دلار هزینه دارد، در حالی که ساخت زیرساخت خود برای ۱۰ ترابایت در ماه تقریباً ۲۳۰ هزار دلار در سال تخمین زده میشود در مقایسه با ۱۰۰–۱۵۰ هزار دلار برای خرید خدمات.
قاعده کلی: تا زمانی که حجم کوچک و سایتها زیاد است - راهحل آماده را بگیرید، شما برای پشتیبانی دیگران هزینه میپردازید. وقتی حجم ثابت است، اهداف کم هستند و به خوبی مطالعه شدهاند - استک خودتان بر روی پروکسی ارزانتر است، زیرا شما دیگر هزینه اضافی برای رندرینگ که به آن نیاز ندارید، نمیپردازید. مقایسه جامع هر دو رویکرد - در تجزیه و تحلیل پروکسی در مقابل scraping API و web unblocker.
چه چیزی در پاییز ۲۰۲۶ تغییر میکند
یک عاملی وجود دارد که محاسبات را به سمت بالا میبرد. از ۱۵ سپتامبر ۲۰۲۶، Cloudflare دامنههای جدید را بهطور پیشفرض به مسدود کردن دستههای Training و Agent منتقل میکند - در صفحات دارای تبلیغات؛ این تغییرات شامل مشتریان جدید، سایتهای جدید مشتریان موجود و همه مشتریان طرح رایگان میشود. خزندههای جستجو همچنان مجاز هستند. بهطور همزمان، Pay Per Crawl به Pay Per Use تبدیل میشود: ناشر بهخاطر عبور از صفحه پول نمیگیرد، بلکه بهخاطر استفاده از محتوا در پاسخ AI.
زمینه ساده است: بر اساس دادههای Cloudflare، ۵۲% درخواستهای خزندهها در شبکه آنها اکنون به آموزش AI مربوط میشود در مقایسه با ۲۲% در بهار ۲۰۲۵. شبکه بسته میشود و معنی عملی برای بودجه این است که سهم موفقیت در منابع محافظت شده بهطور متوسط کاهش مییابد، و بنابراین ضریب پنهان بودجه از جزء سوم سنگینتر میشود. این را در برنامهریزی خود لحاظ کنید، نه اینکه از روی صورتحساب متوجه شوید.
خلاصه
هزینه پارس کردن - نه قیمت گیگابایت، بلکه حاصلضرب وزن صفحه، قیمت کانال و معکوس سهم موفقیت است. تفاوت بین یک خط لوله دقیق و بیدقت در یک میلیون صفحه نه با درصدها، بلکه با مرتبهای از بزرگی اندازهگیری میشود. قبل از چانهزنی برای تخفیف با ارائهدهنده، محاسبه کنید که چقدر برای بارگذاری تصاویری که پارس نمیکنید و برای تکرارهایی که نباید اتفاق میافتاد، هزینه میپردازید. معمولاً در آنجا پول بیشتری نسبت به هر تخفیفی وجود دارد.
```