قائمة أسعار مزود البروكسي مصممة بطريقة تجعل مقارنة الموردين تبدو سهلة: واحد جيجابايت يكلف 1 دولار، والآخر 8 دولارات - احسب، الفرق ثماني مرات. في الواقع، الفريق الذي اشترى جيجابايت بدولار واحد يدفع بانتظام مقابل البيانات المجمعة أكثر من ذلك الذي اشترى بـ 8 دولارات. السبب ليس في التسويق أو الرسوم المخفية: سعر الجيجابايت ببساطة ليس وحدة القياس لمهمتك. أنت لا تشتري حركة المرور - أنت تشتري سجلات تم استخراجها بنجاح، وبين هذين الكميتين توجد سلسلة من العوامل التي تختلف من مشروع لآخر.
الفاتورة تأتي ليست مقابل ما حسبته
مشهد نموذجي: كنت تخطط لجمع مليون بطاقة منتج، وقدرت 200 كيلوبايت لكل صفحة، حصلت على 200 جيجابايت المقدرة وميزانية حوالي 1500 دولار. بعد شهر في الحساب الشخصي - 900 جيجابايت وفاتورة ثلاثة أضعاف التقدير. لم يخدعك أحد: تغيرت ثلاث أشياء لم تكن في الحساب.
الفجوة بين السعر والفاتورة دائمًا ما تتوزع على نفس العناصر. من المفيد تحليلها بشكل منفصل - بعد ذلك ستتجمع الصيغة من تلقاء نفسها.
ثلاثة عوامل بين السعر والفاتورة
1. كم تزن الصفحة فعليًا
تقدير "200 كيلوبايت" يأتي من الرأس ويتعلق بـ HTML العاري. الوزن الحقيقي يعتمد على كيفية استردادك للصفحة. الرد الخام من متجر حديث عادة ما يكون مئات الكيلوبايت. بينما الصفحة التي تم عرضها بالكامل في متصفح بدون رأس مع جميع السكربتات والخطوط والصور والتحليلات تزن بالفعل 2-5 ميغابايت. الفرق بين طريقتين للحصول على نفس البيانات هو ترتيب من الحجم، وهو يقع بالكامل على حركة المرور الخاصة بك.
التقديرات الصناعية عادة ما تتعامل مع نطاق 1-3 ميغابايت لجمع غير المحسن و100-300 كيلوبايت لجمع المحسن. بين هذين الوضعين - ليس "قليل من التوفير"، بل فرق عشرة أضعاف على نفس المشروع.
2. ما هي نسبة الردود التي تصلح فعلاً
العامل الثاني - معدل النجاح، نسبة الطلبات التي أعادت محتوى صالح. كابتشا بدلاً من الصفحة، 403، هيكل فارغ بدون بيانات، إعادة توجيه إلى صفحة فارغة - كل هذا هو حركة مرور مدفوعة لم تعطي أي سجل.
الحساب بسيط وقاسي: عدد الطلبات = السجلات المطلوبة ÷ معدل النجاح. عند 95% نجاح، يتطلب مليون سجل 1.05 مليون طلب. عند 70% - 1.43 مليون. عند 60% - 1.67 مليون. أي أن انخفاض النجاح من 95% إلى 60% يضيف تقريبًا 60% إلى الفاتورة، مع بقاء سعر الجيجابايت ثابتًا.
3. إعادة المحاولة، مهلات وحركة مرور إضافية
فوق ذلك، هناك حركة مرور إضافية من الطبقة نفسها. هنا الفجوة بين النظام الناضج والنظام الذي تم تجميعه على عجل كبيرة: المنصات المدارة الجيدة تعيد إرسال حوالي 0.1-3% من الأعلى، بينما خط أنابيب Scrapy المكتوب يدويًا - 5-15%، مع زيادة النسبة مع زيادة الحجم. منطق إعادة المحاولة العدواني، الذي يضرب النطاق المحظور خمس مرات متتالية، يمكن أن يحول هذه النسب بسهولة إلى عشرات.
مقياس لا يكذب
دعونا نجمع كل شيء في قيمة واحدة. يجب أن نحسب ليس الدولارات لكل جيجابايت، بل تكلفة ألف سجل تم استخراجها بنجاح:
- سعر 1000 سجل = (الوزن المتوسط للرد في جيجابايت ÷ معدل النجاح) × (1 + نسبة إعادة المحاولة) × سعر الجيجابايت × 1000
قيمة هذه الصيغة تكمن في أنها تجعل العروض غير القابلة للمقارنة قابلة للمقارنة. تجمع بين مجموعة رخيصة بمعدل حظر 40% ومجموعة باهظة الثمن بمعدل حظر 5% على نفس المحور. من اللافت أن هذه المقياس نفسه قد اعتمدته مزودات الخدمة في العام الماضي: في المواد الصناعية، تتكرر العبارة "السعر مقسومًا على معدل النجاح" بشكل متزايد، بدلاً من السعر العاري لكل جيجابايت.
كيف يبدو ذلك بالأموال
لنأخذ مليون سجل، صفحة متوسطة 500 كيلوبايت وحركة مرور سكنية بسعر 8 دولارات/جيجابايت - منتصف السوق النموذجي. نغير فقط النجاح:
- 95% نجاح - 1.05 مليون طلب، حوالي 525 جيجابايت، تقريبًا 4200 دولار
- 70% نجاح - 1.43 مليون طلب، حوالي 715 جيجابايت، تقريبًا 5720 دولار
- 60% نجاح - 1.67 مليون طلب، حوالي 835 جيجابايت، تقريبًا 6680 دولار
الفجوة - تقريبًا 2500 دولار على نفس السعر. والآن دعونا نقارن بين عرضين يبدو في قائمة الأسعار كأنهما السماء والأرض. المزود A: 2 دولارات/جيجابايت، لكن لديه 55% نجاح في هدفك. المزود B: 6 دولارات/جيجابايت و92% نجاح. بنفس 500 كيلوبايت ومليون سجل، يخرج A بحوالي 910 جيجابايت و1820 دولار، بينما B - حوالي 545 جيجابايت و3270 دولار. هنا A بالفعل أرخص، وهذه نتيجة عادلة: مع الفجوة الكبيرة في السعر، النجاح المنخفض لا يأكل دائمًا الربح.
لكن أضف إلى A إعادة المحاولة بنسبة 15% مقابل 3% في B، أضف عرض الرأس بدون رأس، الذي يتم تضمينه بالضبط لأن المجموعة الرخيصة غالبًا ما تعطي صفحة فارغة بدلاً من المحتوى - ووزن الصفحة في A يرتفع إلى 1.5 ميغابايت مقابل 500 كيلوبايت في B. إعادة الحساب: A - حوالي 3.1 تيرابايت و6200 دولار، B - حوالي 560 جيجابايت و3370 دولار. تغيرت الترتيبات. لهذا السبب، فإن السؤال "من لديه الجيجابايت الأرخص" ليس له معنى مستقل: الإجابة تعتمد على هدفك، على نظامك، ومعدل الحظر الخاص بك.
لماذا تعتبر واجهات برمجة التطبيقات الخاصة بالتجريف مختلفة - وكيفية مقارنتها
صعوبة منفصلة هي أن جزءًا من السوق لا يبيع جيجابايت على الإطلاق. واجهات برمجة التطبيقات الخاصة بالتجريف ومزيلات حظر الويب تأخذ الأموال مقابل الطلبات، وتقوم بتسعيرها حسب التعقيد. يبدو ترتيب الأسعار لعام 2026 مقابل 1000 صفحة كما يلي:
- HTML بسيط: ScrapeOps حوالي 0.19 دولار، ScraperAPI حوالي 0.49 دولار، Scrape.do حوالي 0.58 دولار، ScrapingBee حوالي 0.66 دولار، Bright Data حوالي 1.00 دولار
- مع عرض JS (عادة 5 اعتمادات بدلاً من واحد): ScrapeOps حوالي 0.95 دولار، Scrape.do حوالي 2.90 دولار، ScrapingBee حوالي 3.30 دولار، ScraperAPI حوالي 4.90 دولار، Bright Data حوالي 5.00 دولارات
- المواقع تحت حماية مكافحة الروبوتات (10-25 اعتماد): ScrapeOps حوالي 1.90 دولار، Scrape.do حوالي 4.45 دولار، ScraperAPI حوالي 5.96 دولار، ScrapingBee حوالي 6.60 دولار، Bright Data في نطاق 8-15 دولار
لاحظ الفجوة داخل مزود واحد: الصفحة البسيطة وصفحة تحت الحماية تختلف في اثني عشر مرة. يبدو تسعير "لكل طلب" أكثر توقعًا من الجيجابايت حتى اللحظة التي ينتقل فيها الهدف من الفئة الأولى إلى الثالثة - وهذا يحدث بدون مشاركتك، بقرار من مالك الموقع.
يتم توصيل ذلك إلى محور عام بنفس الصيغة: تكلفة الطلب ÷ معدل النجاح × 1000. بعد ذلك، يمكن وضع العرض "3.30 دولار مقابل 1000 صفحة JS" والعرض "6 دولارات لكل جيجابايت من حركة المرور السكنية" جنبًا إلى جنب. تحليل أوسع للنهج نفسها - واجهة برمجة التطبيقات الرسمية، مجموعة بيانات جاهزة أو محلل خاص بك - تم تحليله بشكل منفصل؛ هنا الأهمية تكمن فقط في قابليتها للمقارنة من حيث المال.
قياس في ليلة واحدة
الصيغة عديمة الفائدة بدون أرقامك الخاصة، والخبر الجيد هو أن الحصول عليها هو عمل يستغرق بضع ساعات. تجربة على 1000 طلب من عناوين URL الحقيقية الخاصة بك تعطي كل ما تحتاجه.
- خذ عينة تمثيلية من الأهداف - ليس الصفحة الرئيسية، بل تلك البطاقات، الفئات والنتائج التي ستجمعها في الإنتاج. النجاح في الصفحة الرئيسية لا يتنبأ بشيء.
- قم بتوثيق أربعة عدادات بشكل منفصل: الردود الصالحة مع البيانات، أخطاء HTTP، كابتشا وتحديات، "ثنائيات فارغة" - كود 200 بدون محتوى مطلوب. الفئة الأخيرة هي الأكثر خادعة: رسميًا هي نجاح، ولكن فعليًا هي نفايات مدفوعة.
- احصل على حجم حركة المرور الفعلي من إحصائيات المزود، وليس من تقديراتك. الفجوة بين الوزن المحسوب والوزن الفعلي للصفحة - عادة ما تكون أول اكتشاف من هذه التجربة.
- احسب إعادة المحاولة كخط منفصل، ولا تذوبها في العدد الإجمالي للطلبات.
- كرر ذلك مع مزود ثانٍ في نفس اليوم. النجاح يتقلب مع مزاج أنظمة مكافحة الروبوتات، ولا يمكن مقارنة القياسات التي تمت على مدى أسبوع.
إذا أظهرت التجربة نجاحًا منخفضًا، لا تتعجل في تغيير المزود: يجب أولاً فهم السبب. تم تجميع تحليل لمصادر المشكلة الشائعة في المادة حول كيفية تشخيص معدل النجاح المنخفض للبروكسيات، ويجب أن يتم وضع مراقبة منتظمة لنفس المقاييس في سير العمل. غالبًا ما تكون المشكلة في الرؤوس، التوقيت أو بصمة TLS للعميل، وليس في جودة IP.
أربعة عوامل تحرك الأرقام بشكل أقوى من الخصم
عندما يتم حساب المقياس، يصبح واضحًا أين يكون أكثر حساسية. الخصم بنسبة 10% على السعر هو أضعف من العوامل المتاحة.
وزن الرد. أسرع فوز. استرداد فقط ما تحتاجه يقلل حركة المرور بمقدار 2-10 مرات. إذا كان المتصفح بدون رأس ضروريًا، قم بحظر الصور، الخطوط، الوسائط والسكربتات الخارجية على مستوى اعتراض الطلبات - المحتوى لن يتأثر، ولكن الحجم سينخفض بشكل كبير. قم بتفعيل الضغط والطلبات الشرطية حسب ETag: الصفحة التي لم تتغير منذ آخر زيارة يجب أن تكلفك رد 304، وليس ميغابايت.
النجاح. كل عشرة نقاط مئوية من النجاح في النطاق 60-95% تعني عشرات النسب المئوية من الفاتورة. هنا تعمل الهندسة، وليس المال: بصمة العميل الصحيحة، وتيرة معقولة، ونوع IP الصحيح للهدف المحدد.
خلط أنواع البروكسي. تمرير كل حركة المرور عبر مجموعة سكنية هو الخطأ الأكثر شيوعًا والأكثر تكلفة. جزء كبير من الأهداف يتم تسليمه بشكل جيد بواسطة بروكسيات مراكز البيانات، التي تكلف أقل بعشر مرات؛ العناوين السكنية من المنطقي استخدامها فقط لما يتطلب ذلك حقًا. توجيه الحركة بناءً على الهدف، وليس بناءً على العادة، يقلل من تكاليف البروكسي بنسبة 60-70%.
انضباط إعادة المحاولة. تأخير أسي، حد المحاولات، التخلي عن التكرار على الأكواد التي لا تعالج بالتكرار. الفرق بين 3% و15% من حركة المرور الإضافية هو الفرق بين طبقة رعاية دقيقة وغيابها. تم تحليل الجانب العملي من هذا الموضوع في المادة حول تحسين استهلاك الحركة عبر البروكسيات.
ما يبقى خارج نطاق الحركة
الصورة الكاملة للنفقات أوسع من فاتورة البروكسي، ومن المهم تذكر ذلك عند الاختيار بين "جمع بنفسك" و"شراء جاهز". لمشروع بحجم مليون صفحة في الشهر، تبدو التقديرات الصناعية للحلول المستضافة ذاتيًا كما يلي: حركة مرور سكنية 500-1500 دولار، وقت الهندسة 1000-2000 دولار، البنية التحتية 300-500 دولار. الإجمالي 2000-4400 دولار في الشهر - وهذا قبل كتابة منطق الأعمال الخاص بك. مع معدل مهندس حوالي 100 دولار في الساعة، فإن عدة أيام تُقضى في إصلاح محددات مكسورة تكلف أكثر من فاتورة البروكسي الشهرية.
هذا ليس حجة ضد الجمع الذاتي - بل هو حجة لاحتساب ساعات الهندسة كخط ميزانية بنفس أهمية الجيجابايت. يجب أيضًا اختيار نموذج التسعير بوعي: للجلسات الطويلة المستقرة، غالبًا ما يكون الدفع مقابل IP مخصص أكثر فائدة من الدفع لكل ميغابايت.
باختصار
سعر الجيجابايت ليس سعر البيانات، بل هو سعر أحد العوامل الأربعة. مقارنة المزودين بناءً عليه - هو نفسه اختيار سيارة بناءً على سعر لتر البنزين، دون السؤال عن الاستهلاك. وحدة العمل المقارنة الوحيدة هي: كم يكلف ألف سجل تم استخراجه بنجاح على أهدافك، مع وزن ردك، ونجاحك، وإعادة المحاولة الخاصة بك.
احسبها في تجربة من ألف طلب، قبل أن توقع على خطة سنوية. غالبًا ما يتبين أن أفضل عرض في قائمة الأسعار يكلفك أكثر من جميع العروض الأخرى - وأن أكبر احتياطي للتوفير لا يكمن في التفاوض على الخصم، بل في عشرين سطرًا من التعليمات البرمجية التي تعطل تحميل الصور.
```