فهرست قیمت ارائهدهنده پروکسی به گونهای طراحی شده است که مقایسه تأمینکنندگان به نظر کار سادهای میرسد: یک گیگابایت ۱ دلار و دیگری ۸ دلار — به حساب بیاورید، تفاوت هشت برابری است. در عمل، تیمی که یک گیگابایت را به قیمت یک دلار خریداری کرده، به طور منظم برای دادههای جمعآوری شده بیشتر از تیمی که آن را به قیمت هشت دلار خریداری کرده، پرداخت میکند. دلیل این امر نه در بازاریابی و نه در کمیسیونهای پنهان است: قیمت یک گیگابایت به سادگی واحدی نیست که کار شما با آن اندازهگیری شود. شما ترافیک نمیخرید — شما رکوردهای استخراج شده موفق را خریداری میکنید و بین این دو مقدار زنجیرهای از مضربها وجود دارد که هر پروژهای ویژگیهای خاص خود را دارد.
صورتحساب به خاطر چیزی که شما حساب کردهاید نمیآید
صحنهای معمولی: برنامهریزی کردهاید که یک میلیون کارت محصول جمعآوری کنید، برای هر صفحه ۲۰۰ کیلوبایت در نظر گرفتهاید، ۲۰۰ گیگابایت محاسبه شده و بودجهای در حدود یک و نیم هزار دلار دارید. یک ماه بعد در پنل کاربری — ۹۰۰ گیگابایت و صورتحسابی سه برابر برآورد. هیچکس شما را فریب نداده است: سه چیز تغییر کرده که در محاسبات وجود نداشت.
فاصله بین قیمت و صورتحساب همیشه به اجزای یکسانی تقسیم میشود. ارزش دارد که آنها را به طور جداگانه بررسی کنید — سپس فرمول به خودی خود جمع میشود.
سه مضرب بین قیمت و صورتحساب
۱. صفحه واقعاً چقدر وزن دارد
ارزیابی «۲۰۰ کیلوبایت» از سر به دست آمده و به HTML خالص مربوط میشود. وزن واقعی بستگی به این دارد که چگونه صفحه را دریافت میکنید. پاسخ HTML خام یک فروشگاه مدرن معمولاً صدها کیلوبایت است. اما یک صفحه کاملاً رندر شده در مرورگر بدون سر (headless) با تمام اسکریپتها، فونتها، تصاویر و تجزیه و تحلیلها ۲ تا ۵ مگابایت وزن دارد. تفاوت بین دو روش برای دریافت یکسان دادهها — به اندازه یک مرتبه است و به طور کامل بر روی ترافیک شما تأثیر میگذارد.
محاسبات صنعتی معمولاً با دامنه ۱ تا ۳ مگابایت برای جمعآوری غیر بهینه و ۱۰۰ تا ۳۰۰ کیلوبایت برای جمعآوری بهینه کار میکنند. بین این دو حالت — نه «کمی صرفهجویی»، بلکه تفاوتی ده برابری در همان پروژه وجود دارد.
۲. چه درصدی از پاسخها واقعاً قابل استفاده است
دومین مضرب — نرخ موفقیت، درصد درخواستهایی که محتوای قابل استفاده را بازگرداندهاند. کپچا به جای صفحه، ۴۰۳، چارچوب خالی بدون داده، ریدایرکت به صفحه خالی — همه اینها ترافیک پرداختی است که هیچ رکوردی ارائه نکرده است.
حساب ساده و بیرحمانه است: تعداد درخواستها = رکوردهای مورد نیاز ÷ نرخ موفقیت. با ۹۵٪ موفقیت، برای یک میلیون رکورد ۱.۰۵ میلیون درخواست لازم است. با ۷۰٪ — ۱.۴۳ میلیون. با ۶۰٪ — ۱.۶۷ میلیون. به عبارت دیگر، کاهش نرخ موفقیت از ۹۵٪ به ۶۰٪ به خودی خود تقریباً ۶۰٪ به صورتحساب اضافه میکند، در حالی که قیمت گیگابایت کاملاً ثابت است.
۳. تلاشهای مجدد، زمانهای انتظار و ترافیک اضافی
بالای این موارد، ترافیک اضافی ناشی از خود پیادهسازی قرار میگیرد. در اینجا فاصله بین یک پشته بالغ و یک پشته به سرعت جمعآوری شده بسیار زیاد است: در پلتفرمهای مدیریت شده، تلاشهای مجدد حدود ۰.۱ تا ۳٪ را اضافه میکند، در حالی که در خط لوله Scrapy خودنویس — ۵ تا ۱۵٪، و این درصد با افزایش مقیاس افزایش مییابد. منطق تلاش مجدد تهاجمی که دامنه مسدود شده را پنج بار متوالی میکوبد، به راحتی این درصدها را به دهها تبدیل میکند.
معیارهایی که دروغ نمیگویند
همه چیز را در یک مقدار جمع کنیم. باید به جای دلار برای هر گیگابایت، هزینه هزار رکورد استخراج شده موفق را حساب کنیم:
- قیمت برای ۱۰۰۰ رکورد = (میانگین وزن پاسخ در گیگابایت ÷ نرخ موفقیت) × (۱ + درصد تلاشهای مجدد) × قیمت برای گیگابایت × ۱۰۰۰
ارزش این فرمول در این است که پیشنهادات غیرقابل مقایسه را قابل مقایسه میکند. یک مجموعه ارزان با نرخ مسدود شدن ۴۰٪ و یک مجموعه گران با نرخ مسدود شدن ۵٪ در نهایت در یک محور قرار میگیرند. جالب است که در سال گذشته، خود ارائهدهندگان نیز به این معیار رسیدهاند: در مواد صنعتی، به طور فزایندهای عبارت «قیمت تقسیم بر نرخ موفقیت» به جای قیمت خالص برای هر گیگابایت شنیده میشود.
چگونه این در پول به نظر میرسد
یک میلیون رکورد، صفحه متوسط ۵۰۰ کیلوبایت و ترافیک مقیم به قیمت ۸ دلار/گیگابایت — میانهای معمولی از بازار. فقط موفقیت را تغییر میدهیم:
- ۹۵٪ موفقیت — ۱.۰۵ میلیون درخواست، حدود ۵۲۵ گیگابایت، تقریباً ۴۲۰۰ دلار
- ۷۰٪ موفقیت — ۱.۴۳ میلیون درخواست، حدود ۷۱۵ گیگابایت، تقریباً ۵۷۲۰ دلار
- ۶۰٪ موفقیت — ۱.۶۷ میلیون درخواست، حدود ۸۳۵ گیگابایت، تقریباً ۶۶۸۰ دلار
فاصله — تقریباً ۲۵۰۰ دلار در یک قیمت یکسان. حالا دو پیشنهاد را مقایسه میکنیم که در فهرست قیمت به نظر میرسد مانند آسمان و زمین. ارائهدهنده A: ۲ دلار/گیگابایت، اما بر روی هدف شما ۵۵٪ موفقیت دارد. ارائهدهنده B: ۶ دلار/گیگابایت و ۹۲٪ موفقیت. با همان ۵۰۰ کیلوبایت و یک میلیون رکورد، A حدود ۹۱۰ گیگابایت و ۱۸۲۰ دلار، و B حدود ۵۴۵ گیگابایت و ۳۲۷۰ دلار خواهد بود. در اینجا A واقعاً ارزانتر است و این یک نتیجه عادلانه است: با اختلاف زیاد در قیمت، نرخ موفقیت پایین همیشه سود را از بین نمیبرد.
اما ۱۵٪ تلاش مجدد به A اضافه کنید در مقابل ۳٪ برای B، و رندر بدون سر (headless) که دقیقاً به همین دلیل فعال میشود که مجموعه ارزانتر اغلب به جای محتوا، صفحه خالی را ارائه میدهد — و وزن صفحه A به ۱.۵ مگابایت در مقابل ۵۰۰ کیلوبایت برای B میرسد. محاسبه مجدد: A — حدود ۳.۱ ترابایت و ۶۲۰۰ دلار، B — حدود ۵۶۰ گیگابایت و ۳۳۷۰ دلار. ترتیب تغییر کرده است. به همین دلیل است که سؤال «کدام یک گیگابایت ارزانتر است» به تنهایی معنای مستقلی ندارد: پاسخ به هدف شما، پشته شما و نرخ مسدود شدن شما بستگی دارد.
چرا APIهای scraping به گونهای دیگر حساب میشوند — و چگونه آنها را مقایسه کنیم
یک مشکل جداگانه این است که بخشی از بازار اصلاً گیگابایت نمیفروشد. APIهای scraping و وب آنبلاکرها هزینه را بر اساس درخواستها میگیرند و آنها را بر اساس پیچیدگی قیمتگذاری میکنند. ترتیب قیمتها در سال ۲۰۲۶ برای ۱۰۰۰ صفحه به این صورت است:
- HTML ساده: ScrapeOps حدود ۰.۱۹ دلار، ScraperAPI حدود ۰.۴۹ دلار، Scrape.do حدود ۰.۵۸ دلار، ScrapingBee حدود ۰.۶۶ دلار، Bright Data حدود ۱.۰۰ دلار
- با رندر JS (معمولاً ۵ اعتبار به جای یک): ScrapeOps حدود ۰.۹۵ دلار، Scrape.do حدود ۲.۹۰ دلار، ScrapingBee حدود ۳.۳۰ دلار، ScraperAPI حدود ۴.۹۰ دلار، Bright Data حدود ۵.۰۰ دلار
- سایتهایی با حفاظت ضد ربات (۱۰ تا ۲۵ اعتبار): ScrapeOps حدود ۱.۹۰ دلار، Scrape.do حدود ۴.۴۵ دلار، ScraperAPI حدود ۵.۹۶ دلار، ScrapingBee حدود ۶.۶۰ دلار، Bright Data در دامنه ۸ تا ۱۵ دلار
به فاصله داخل یک ارائهدهنده توجه کنید: یک صفحه ساده و یک صفحه تحت حفاظت در ScraperAPI دوازده برابر متفاوت است. تعرفه «به ازای درخواست» تا زمانی که هدف از دسته اول به دسته سوم منتقل نشود، پیشبینیپذیرتر از گیگابایت به نظر میرسد — و این بدون دخالت شما، به تصمیم مالک سایت اتفاق میافتد.
این به یک محور کلی با همان فرمول میرسد: هزینه درخواست ÷ نرخ موفقیت × ۱۰۰۰. پس از آن، پیشنهاد «۳.۳۰ دلار برای ۱۰۰۰ صفحه JS» و پیشنهاد «۶ دلار برای هر گیگابایت ترافیک مقیم» در نهایت میتوانند در کنار هم قرار گیرند. بررسی دقیقتر خود رویکردها — API رسمی، دیتاست آماده یا پارسر خودتان — ما به طور جداگانه بررسی کردهایم؛ در اینجا فقط مقایسه آنها از نظر مالی مهم است.
اندازهگیری در یک شب
فرمول بدون اعداد شما بیفایده است و خبر خوب این است که به دست آوردن آنها — کاری است که چند ساعت طول میکشد. آزمایش بر روی ۱۰۰۰ درخواست با URLهای واقعی شما همه چیز لازم را ارائه میدهد.
- یک نمونه نماینده از اهداف را بگیرید — نه صفحه اصلی، بلکه همان کارتها، دستهها و نتایجی که در تولید جمعآوری خواهید کرد. موفقیت در صفحه اصلی هیچ پیشبینی نمیکند.
- به طور جداگانه چهار شمارنده را ثبت کنید: پاسخهای معتبر با دادهها، خطاهای HTTP، کپچاها و چالشها، «دوستهای خالی» — کد ۲۰۰ بدون محتوای مورد نیاز. آخرین دسته فریبندهترین است: به طور رسمی این یک موفقیت است، اما در واقع — زبالهای پرداخت شده.
- حجم واقعی ترافیک را از آمار ارائهدهنده بگیرید، نه از تخمینهای خودتان. اختلاف بین وزن محاسبه شده و وزن واقعی صفحه — معمولاً اولین یافته چنین آزمایشی است.
- تلاشهای مجدد را به عنوان یک خط جداگانه محاسبه کنید، نه اینکه آنها را در تعداد کل درخواستها حل کنید.
- در همان روز بر روی ارائهدهنده دوم تکرار کنید. نرخ موفقیت با روحیه سیستمهای ضد ربات نوسان میکند و اندازهگیریهایی که در یک هفته انجام میشوند، قابل مقایسه نیستند.
اگر آزمایش نشان داد که نرخ موفقیت پایین است، عجله نکنید تا تأمینکننده را تغییر دهید: ابتدا باید دلیل را درک کنید. تجزیه و تحلیل منابع معمول مشکل در مادهای درباره چگونه نرخ موفقیت پایین پروکسیها را تشخیص دهیم جمعآوری شده است و کنترل منظم همان معیارها باید به یک روند تبدیل شود. اغلب مشکل در هدرها، زمانبندی یا اثر انگشت TLS مشتری است، نه کیفیت IP.
چهار اهرم که عدد را بیشتر از تخفیف حرکت میدهند
وقتی معیار محاسبه شد، مشخص میشود که کجا حساستر است. تخفیف ۱۰٪ در قیمت — ضعیفترین اهرم موجود است.
وزن پاسخ. سریعترین سود. فقط آنچه را که نیاز دارید جمعآوری کنید، ترافیک را ۲ تا ۱۰ برابر کاهش میدهد. اگر مرورگر بدون سر ضروری است، در سطح دریافت درخواستها تصاویر، فونتها، رسانه و اسکریپتهای خارجی را مسدود کنید — محتوا از این بابت آسیب نمیبیند و حجم به طور قابل توجهی کاهش مییابد. فشردهسازی و درخواستهای شرطی بر اساس ETag را فعال کنید: صفحهای که از آخرین دور بازدید تغییر نکرده باید برای شما پاسخ ۳۰۴ باشد، نه یک مگابایت.
موفقیت. هر ده درصد موفقیت در دامنه ۶۰ تا ۹۵٪ — دهها درصد صورتحساب است. در اینجا پول کار نمیکند، بلکه مهندسی است: اثر انگشت صحیح مشتری، سرعت معقول، نوع صحیح IP برای هدف خاص.
ترکیب انواع پروکسی. تمام ترافیک را از طریق مجموعه مقیم عبور دادن — رایجترین و گرانترین اشتباه است. بخش قابل توجهی از اهداف به خوبی با پروکسیهای دیتاسنتر که به طور قابل توجهی ارزانتر هستند، پاسخ میدهند؛ آدرسهای مقیم تنها باید برای آنچه که واقعاً به آن نیاز دارند، صرف شود. مسیریابی بر اساس هدف، نه عادت، هزینههای پروکسی را ۶۰ تا ۷۰٪ کاهش میدهد.
انضباط تلاشهای مجدد. تأخیر نمایی، سقف تلاشها، عدم تکرار در کدهایی که با تکرار درمان نمیشوند. تفاوت بین ۳٪ و ۱۵٪ ترافیک اضافی — تفاوت بین یک پیادهسازی دقیق و عدم آن است. جنبه عملی این موضوع در مادهای درباره بهینهسازی مصرف ترافیک از طریق پروکسی بررسی شده است.
چه چیزی خارج از ترافیک باقی میماند
تصویر کامل هزینهها فراتر از صورتحساب پروکسی است و باید در هنگام انتخاب بین «خودتان جمعآوری کنید» و «خرید آماده» به این نکته توجه کنید. برای پروژهای با مقیاس یک میلیون صفحه در ماه، برآوردهای صنعتی برای راهحلهای خود میزبانی به این صورت است: ترافیک مقیم ۵۰۰ تا ۱۵۰۰ دلار، زمان مهندسی ۱۰۰۰ تا ۲۰۰۰ دلار، زیرساخت ۳۰۰ تا ۵۰۰ دلار. در مجموع ۲۰۰۰ تا ۴۴۰۰ دلار در ماه — و این قبل از نوشتن منطق کسبوکار خود است. با نرخ مهندس حدود ۱۰۰ دلار در ساعت، چند روز صرف شده برای تعمیر انتخابگرهای خراب، بیشتر از صورتحساب ماهانه پروکسی هزینه دارد.
این یک استدلال علیه جمعآوری مستقل نیست — این یک استدلال برای محاسبه ساعات مهندسی به عنوان یک خط بودجه مشابه گیگابایتها است. مدل قیمتگذاری نیز باید با آگاهی انتخاب شود: برای جلسات طولانی و پایدار، پرداخت برای IP اختصاصی اغلب به صرفهتر از پرداخت به ازای هر مگابایت است.
خلاصه
قیمت برای هر گیگابایت — قیمت دادهها نیست، بلکه قیمت یکی از چهار مضرب است. مقایسه ارائهدهندگان بر اساس آن — همانند انتخاب خودرو بر اساس قیمت لیتر بنزین است، بدون اینکه در مورد مصرف بپرسید. واحد کاری مقایسه یکی است: هزینه هزار رکورد استخراج شده موفق در اهداف شما، با وزن پاسخ شما، نرخ موفقیت شما و تلاشهای مجدد شما.
آن را در آزمایش با هزار درخواست محاسبه کنید، قبل از اینکه برای تعرفه سالانه ثبتنام کنید. اغلب مشخص میشود که ارزانترین پیشنهاد در فهرست قیمت، برای شما گرانتر از همه بقیه است — و اینکه بزرگترین پتانسیل صرفهجویی نه در مذاکره برای تخفیف، بلکه در دو ده خط کد است که بارگذاری تصاویر را غیرفعال میکند.
```