سؤال "كم يكلف استخراج مليون صفحة" يحصل تقريبًا دائمًا على إجابة غير مفيدة: "يعتمد على الموقع". يعتمد - لكن ليس بشكل غامض. تتوزع التكلفة على أربعة عناصر قابلة للقياس، ويمكن حساب أي منها مسبقًا، قبل أن تصل فاتورة المرور. أدناه - الحسابات العملية: من أين تأتي الجيجابايتات، ولماذا لا تعبر الأسعار "لكل جيجابايت" عن ميزانيتك، وما هي العوامل التي يمكن أن تخفض التكاليف بشكل كبير.
المقياس الرئيسي - ليس السعر لكل جيجابايت، بل السعر لكل طلب ناجح
يتنافس المزودون في الأرقام على الواجهة: 1 دولار/جيجابايت، 3 دولارات/جيجابايت، 0.30 دولار لكل ألف طلب. هذه الأرقام غير قابلة للمقارنة فيما بينها، حتى تقوم بتحويلها إلى قيمة واحدة - تكلفة استخراج بيانات ناجحة واحدة. هذا ما تؤكد عليه مراجعات السوق: الأرقام الخام "لكل جيجابايت" و"لكل 1000 طلب" لا يمكن مقارنتها دون مراعاة وزن الصفحة ونسبة الردود الناجحة.
الصيغة التي تكفي للتخطيط:
الميزانية = (عدد الصفحات المستهدفة ÷ نسبة النجاح) × متوسط وزن الصفحة × السعر لكل جيجابايت + النفقات الثابتة
ثلاث متغيرات في الجزء الأول وواحد في الثاني. دعونا نفصل كل منها.
العنصر 1: كم يزن صفحة واحدة
هذه هي المتغير الأكثر تقليلًا من قيمته. الفارق هنا ليس في النسب المئوية، بل في الأضعاف، ويعتمد على كيفية استخراجك للصفحة:
- طلب HTTP عادي بدون رندر - 50-150 كيلوبايت. تحصل فقط على وثيقة HTML.
- رندر كامل في متصفح بدون واجهة - 100-300 كيلوبايت مع إعداد دقيق.
- متصفح "كما هو"، بدون فلاتر - 0.2-1 ميغابايت أو أكثر. تدفع مقابل الصور، الخطوط، السكربتات الإعلانية، التحليلات ومشغلات الفيديو التي لا تحتاجها.
الفرق بين النقطة الأولى والثالثة يصل إلى عشرين مرة على نفس الصفحة. بالنسبة لمليون صفحة، هذا الفرق بين 50 جيجابايت و1000 جيجابايت من المرور.
العنصر 2: سعر الجيجابايت حسب أنواع البروكسي
تبدو ممرات السوق الحالية لعام 2026 على النحو التالي:
- مركز البيانات - 0.50-3 دولارات لكل جيجابايت أو رسوم شهرية على IP.
- السكنية - 1-8 دولارات لكل جيجابايت. معيار جودة السعر: حوالي 1 دولار/جيجابايت - عرض ممتاز، 3-4 دولارات/جيجابايت - منتصف السوق، 5-8 دولارات/جيجابايت - القطاع المؤسسي.
- المحمولة (4G/5G) - 2-15 دولارًا لكل جيجابايت.
- مزود خدمة الإنترنت / السكنية الثابتة - 1.5-5 دولارات لكل IP شهريًا.
- واجهات برمجة التطبيقات الجاهزة للاستخراج - 0.30-12 دولارًا لكل 1000 طلب.
الإغراء في أخذ الأرخص مفهوم، لكنه يتعطل عند العنصر التالي.
العنصر 3: نسبة النجاح - مضاعف خفي للميزانية
كل طلب محجوب تدفع ثمنه على أي حال: تم استهلاك المرور، ولا توجد بيانات. لذلك، العدد الحقيقي للطلبات يساوي الهدف مقسومًا على نسبة النجاح، والمضاعف ينمو بشكل غير خطي:
- نسبة نجاح 95% - زيادة 5%؛
- نسبة نجاح 70% - ستحتاج إلى حوالي 400 ألف طلب إضافي لكل مليون سجل مستهدف؛
- نسبة نجاح 60% - تحتاج إلى 2.5 مرة أكثر من الطلبات.
لهذا السبب، مركز البيانات الذي يكلف 0.50 دولار/جيجابايت على موقع محمي يصبح أغلى من السكنية التي تكلف 3 دولارات/جيجابايت: Cloudflare وDataDome وAkamai تضع علامات على ASN لمراكز البيانات بشكل افتراضي، وتدفع ثمن تدفق الرفض. وفقًا لتقديرات يوليو 2026، تحتفظ البروكسي المحمولة بنسبة نجاح تتراوح بين 90-95% ضد أنظمة مكافحة الروبوتات الحديثة - حيث لا يمر مركز البيانات على الإطلاق.
الاستنتاج العملي: يتم اختيار نوع البروكسي بناءً على الهدف. الأدلة البسيطة وواجهات برمجة التطبيقات المفتوحة - مركز البيانات. المتاجر، الشبكات الاجتماعية، المجمعات المحمية - السكنية. أكثر المواقع عدوانية والإصدارات المحمولة من المواقع - المحمولة.
ثلاث سيناريوهات لمليون صفحة
دعونا نجمع الأرقام معًا. الشرط هو نفسه: مليون صفحة مفيدة.
السيناريو أ - "المنضبط". عميل HTTP بدون متصفح، 100 كيلوبايت لكل صفحة، سكنية بسعر 2 دولارات/جيجابايت، نسبة نجاح 95%. الإجمالي: 1.05 مليون طلب × 100 كيلوبايت ≈ 105 جيجابايت ≈ 210 دولارات.
السيناريو ب - "النموذجي". متصفح بدون واجهة مع تصفية الموارد، 250 كيلوبايت لكل صفحة، سكنية بسعر 3 دولارات/جيجابايت، نسبة نجاح 85%. الإجمالي: 1.18 مليون × 250 كيلوبايت ≈ 295 جيجابايت ≈ 885 دولارًا.
السيناريو ج - "بدون إعداد". المتصفح يحمل كل شيء، 800 كيلوبايت لكل صفحة، سكنية بسعر 5 دولارات/جيجابايت، نسبة نجاح 65%. الإجمالي: 1.54 مليون × 800 كيلوبايت ≈ 1230 جيجابايت ≈ 6150 دولارًا.
الفرق بين أ وج - تقريبًا ثلاثون ضعفًا، مع نفس النتيجة في النهاية. لم يكن أي من المتغيرات غريبًا: كل ذلك إعدادات افتراضية عادية مقابل دقة عادية. للتوجيه: تقديرات الصناعة لشركة متوسطة الحجم تعالج مليون طلب شهريًا عبر مواقع مختلفة تعطي 1000-3000 دولار شهريًا - أي بين السيناريو ب وج.
ما لا يدخل في المرور، لكن يدخل في الفاتورة
البروكسي - عادة ما تكون أكبر، لكنها ليست العنصر الوحيد:
- كابتشا. الحل يكلف 0.50-3 دولارات لكل ألف. مع 5% من الصفحات تحتوي على كابتشا في مليون، فهذا يعني 50 ألف حل - 25-150 دولارًا. مقبول. مع 50% - يصبح 250-1500 دولار، وتصبح المسألة ليست فنية.
- البنية التحتية. 20-200 دولار شهريًا على أحجام متواضعة؛ 200-500 دولار عند نطاق صغير و3000-10000 دولار عند تدفقات كبيرة حقًا.
- التخزين والمرور الصادر. حوالي 0.023 دولار لكل جيجابايت شهريًا للتخزين الكائني و0.09 دولار لكل جيجابايت للخروج في السحب الكبيرة - مبلغ صغير على مئات الجيجابايت، لكنه يصبح ملحوظًا على عشرات التيرابايت.
- الأشخاص. السطر الأكثر تكلفة الذي يتم نسيانه. محلل جاهز للإنتاج - يستغرق 8-12 أسبوعًا من التطوير، ثم 4-8 ساعات شهريًا على المواقع العادية و20+ ساعة على المواقع المحمية. مع سعر 75 دولارًا/ساعة، فإن دعم مصدر محمي يكلف 1500+ دولار شهريًا - أكثر من كل المرور في السيناريو ب.
خمسة عوامل يمكن أن تخفض التكاليف بشكل فعلي
- أزل المتصفح حيث لا يكون ضروريًا. إذا كانت البيانات موجودة في HTML أو في واجهة برمجة التطبيقات الداخلية - فإن الرندر غير ضروري. هذه هي العوامل الرئيسية: تخفيض 60-80% من المرور.
- قم بحظر الموارد إذا كان المتصفح ضروريًا. الصور، الخطوط، الوسائط، السكربتات الإعلانية والتحليلية يتم تعطيلها بقانون واحد لالتقاط الطلبات وتوفر توفيرًا كبيرًا. تحليل تفصيلي للأساليب - في المادة حول تحسين استهلاك المرور عبر البروكسي.
- صنف الأهداف حسب التعقيد. تمرير القائمة بأكملها عبر أغلى قناة - هو الخطأ الأكثر شيوعًا في الميزانية. قم بتقسيم المصادر إلى "مفتوحة"، "محمية بشكل معتدل" و"عدوانية" وحدد لكل منها نوع البروكسي الخاص بها.
- قم ببناء سياسة إعادة المحاولة بوعي. التكرار الأعمى ثلاث مرات على الفشل يضاعف المرور على الأهداف المشكلة. يجب تكرار الطلبات فقط على أكواد الرد التي يكون للتكرار فيها معنى، ومع IP مختلف، وليس مع نفس IP.
- قم بالتخزين المؤقت ولا تأخذ نفس الشيء مرتين. القوائم، الترقيم، المرور المتكرر عبر الدليل - هنا يمكن أن تضيع عشرات النسب المئوية من الميزانية بسهولة.
متى يكون API الجاهز أرخص، ومتى يكون لديك نظام خاص
يجب حساب التكلفة الإجمالية للملكية، وليس السطر "لكل جيجابايت". مؤشرات السوق: محلل خاص لـ 100 ألف صفحة شهريًا يكلف 700-1650 دولارًا مع الدعم، بينما API جاهز لنفس الحجم - 50-300 دولار. عند الأرقام الكبيرة، تتغير الصورة: مليون طلب شهريًا عبر API يكلف 250-2490 دولارًا، بينما تقديرات بناء البنية التحتية الخاصة بـ 10 تيرابايت شهريًا تصل إلى حوالي 230 ألف دولار سنويًا مقابل 100-150 ألف دولار لشراء الخدمة.
قاعدة عامة: بينما يكون الحجم صغيرًا وعدد المواقع كبيرًا - استخدم الحل الجاهز، لأنك تدفع مقابل دعم الآخرين. عندما يكون الحجم مستقرًا، وعدد الأهداف قليل ومعروفة جيدًا - فإن نظام البروكسي الخاص أرخص، لأنك تتوقف عن دفع الزيادة مقابل الرندر الذي لا تحتاجه. مقارنة مفصلة بين كلا النهجين - في تحليل البروكسي مقابل API للاستخراج وweb unblocker.
ما الذي سيتغير في خريف 2026
هناك عامل سيؤدي إلى رفع التقديرات. اعتبارًا من 15 سبتمبر 2026، ستقوم Cloudflare بتحويل النطاقات الجديدة إلى حظر فئات التدريب والوكيل بشكل افتراضي - على الصفحات التي تحتوي على إعلانات؛ ستؤثر التغييرات على العملاء الجدد، والمواقع الجديدة للعملاء الحاليين وجميع العملاء على الخطة المجانية. تظل زواحف البحث مسموح بها. بالتوازي، يتحول الدفع لكل زحف إلى الدفع مقابل الاستخدام: يحصل الناشر على المال ليس مقابل مجرد زحف الصفحة، بل مقابل استخدام المحتوى في استجابة الذكاء الاصطناعي.
السياق بسيط: وفقًا لبيانات Cloudflare، 52% من طلبات الزواحف في شبكتهم تأتي الآن للتدريب على الذكاء الاصطناعي مقابل 22% في ربيع 2025. الشبكة تغلق، والمعنى العملي للميزانية هو أن نسبة النجاح على المصادر المحمية ستنخفض في المتوسط، مما يعني أن المضاعف الخفي للميزانية من العنصر الثالث سيصبح أكثر أهمية. ضع ذلك في خطتك، ولا تنتظر حتى تأتي الفاتورة.
باختصار
تكلفة الاستخراج ليست السعر لكل جيجابايت، بل هي ناتج وزن الصفحة، وسعر القناة، والعكس من نسبة النجاح. الفرق بين خط أنابيب دقيق وغير دقيق على مليون صفحة يقاس ليس بالنسب المئوية، بل بأمر من الحجم. قبل أن تتفاوض على خصم مع المزود، احسب كم تدفع مقابل تحميل الصور التي لا تقوم باستخراجها، وكم تدفع مقابل التكرارات التي لم يكن يجب أن تحدث. عادة ما يكون هناك أموال أكثر هناك من أي خصم.
```