عوامل Apify مع بروكسي خاص: متى يكون تجمعك أرخص من بروكسي Apify المدمج

إذا كنت تقوم بتشغيل ممثلين على Apify لاستخراج البيانات من Wildberries أو Ozon أو Amazon أو Google Maps، فإن السؤال سيظهر عاجلاً أم آجلاً: هل تدفع مقابل Apify Proxy المدمج أم توصل مجموعة IP الخاصة بك. في الأحجام الكبيرة، قد تصل الفجوة في التكلفة إلى عشرات الآلاف من الروبلات شهريًا. في هذه المقالة، سنحلل كيف يتم حساب سعر البيانات في Apify، ومتى يكون البروكسي الخاص أكثر ربحية، وكيفية توصيله تقنيًا بالممثل — مع أمثلة على الكود.

ما هو ممثلو Apify ولماذا يحتاجون إلى بروكسي

Apify هي منصة لتشغيل برامج الزحف الجاهزة (الممثلين) دون الحاجة إلى إنشاء بنية تحتية خاصة. في متجر Apify، هناك مئات من الممثلين الجاهزين: زواحف Amazon، زاحف Google Maps، زاحف Instagram، وممثلون لجمع بطاقات المنتجات من Wildberries و Ozon. يتطلب معظمهم بروكسي، لأن المواقع المستهدفة تحظر بسرعة عناوين IP لمراكز بيانات Apify عند إجراء طلبات جماعية.

يحل البروكسي في الممثل ثلاث مهام: يتجاوز القيود الجغرافية (على سبيل المثال، تحتاج إلى جمع الأسعار للمنطقة "موسكو" على Wildberries)، يقلل من تكرار CAPTCHA والحظر المؤقت، ويقوم بتوزيع الحمل بين العديد من عناوين IP، مما يحاكي سلوك المستخدمين العاديين وليس الروبوت. بدون بروكسي، لن تعمل معظم الممثلين لاستخراج البيانات من الأسواق أو ستجمع البيانات بأخطاء بعد بضع دقائق من العمل.

لدى Apify حل مدمج — Apify Proxy، الذي يتصل بسطر واحد من الكود. هذا مريح للبدء، لكن لديه نقطة: الدفع يتم بناءً على البيانات بالجيجابايت، وعند استخراج البيانات بشكل منتظم أو بكميات كبيرة، يرتفع الحساب بسرعة. لهذا السبب، يقوم المستخدمون ذوو الخبرة في المنصة بشكل متزايد بتوصيل بروكسي خاص بالممثلين بدلاً من المدمج.

كيف يعمل Apify Proxy المدمج وتسعيره

يقدم Apify Proxy ثلاثة أنواع من IP: مراكز البيانات، السكنية (من خلال مجموعات الشركاء) وبروكسي Google SERP لاستخراج نتائج البحث. الاتصال بسيط للغاية — يكفي تحديد المعلمة useApifyProxy: true في تكوين الممثل، وستقوم المنصة تلقائيًا بتدوير IP لكل طلب أو جلسة.

المشكلة في نموذج الدفع: يتم تسعير بيانات البروكسي السكنية داخل Apify بالجيجابايت، وعادة ما تكون تكلفة الجيجابايت في الحل المدمج أعلى من تلك الموجودة عند مزودي البروكسي المباشرين، لأن Apify تضيف هامشها الخاص لتكامل وإدارة المجموعة. بالنسبة للتشغيلات الاختبارية الصغيرة (بضعة آلاف من الطلبات شهريًا) لا تكون هذه مشكلة. ولكن إذا كان الممثل يعمل في وضع المراقبة — على سبيل المثال، يجمع الأسعار على Wildberries كل ساعة لـ 5000 SKU — فإن استهلاك البيانات ينمو بشكل أسي، ويصبح البروكسي المدمج أغلى بند في ميزانية المشروع، متجاوزًا حتى تكلفة خطة Apify نفسها.

نقطة إضافية: مجموعة Apify المدمجة عامة لجميع عملاء المنصة. هذا يعني أن عناوين IP قد تكون "مكشوفة" بالفعل من قبل مستخدمين آخرين يقومون باستخراج نفس المواقع. هذا يزيد من خطر CAPTCHA والحظر، خاصة على الأسواق ذات الحماية القوية ضد الروبوتات، مثل Ozon و Avito.

متى تكون مجموعة البروكسي الخاصة أرخص: الحساب بالأرقام

لفهم متى يكون الانتقال إلى بروكسي خاص مبررًا، يجب مقارنة متغيرين: تكلفة البيانات في Apify Proxy وتكلفة نفس الحجم من مزود بروكسي مباشر، بالإضافة إلى الوقت المستغرق في تكامل ودعم مجموعة البروكسي الخاصة.

تظهر الممارسة ثلاثة سيناريوهات:

• استخراج لمرة واحدة (حتى 1 جيجابايت من البيانات شهريًا) — Apify Proxy المدمج هو الأكثر ربحية: لا معنى لقضاء الوقت في إعداد مجموعة خاصة من أجل جمع بيانات صغيرة لمرة واحدة.
• المراقبة المنتظمة (5-50 جيجابايت شهريًا) — نقطة التحول. هنا يجب أن نبدأ في الحساب: إذا كان الممثل يعمل يوميًا ويجمع بطاقات المنتجات من Wildberries أو Ozon، فإن استهلاك البيانات مع البروكسي المدمج ينمو بسرعة أكبر من مجموعة خاصة بتكلفة ثابتة لكل IP أو خطة غير محدودة.
• استخراج صناعي (أكثر من 50 جيجابايت شهريًا، عشرات الممثلين، عدة مصادر) — تكون مجموعة البروكسي الخاصة أرخص تقريبًا دائمًا، لأنه يمكن التفاوض على سعر مباشر للبيانات أو عدد IP، بدون هامش المنصة الوسيطة.

مثال بسيط للحساب: إذا كان الممثل يعالج يوميًا 10,000 بطاقة منتج، وكل صفحة تزن في المتوسط 300 كيلوبايت مع الأخذ في الاعتبار الصور والبرامج النصية (بدون تحسين تحميل الموارد)، فإن الاستهلاك الشهري يصل إلى حوالي 90 جيجابايت من البيانات. مع تسعيرة Apify Proxy للبيانات السكنية، غالبًا ما تتجاوز التكلفة الإجمالية تكلفة نفس الحجم من مزود بروكسي خارجي بمقدار 1.5 إلى 2 مرة. إذا كان الممثل معدًا لحظر تحميل الصور والبرامج النصية الخارجية (وهو ما يمكن القيام به بسهولة من خلال تكوين Puppeteer/Playwright)، فإن الوزن الفعلي للبيانات ينخفض بشكل كبير، وتصبح التوفير من الانتقال إلى بروكسي خاص أكثر وضوحًا.

ما نوع البروكسي الذي يجب توصيله بالممثلين

يعتمد اختيار نوع البروكسي بشكل مباشر على الموقع الذي يقوم الممثل باستخراجه ومدى حساسيته لحركة مرور الروبوتات.

نوع البروكسي	متى تستخدم في Apify	خطر الحظر
بروكسي مراكز البيانات	استخراج المواقع بدون حماية قوية ضد الروبوتات، مصادر شبيهة بـ API، كتالوجات ثابتة	مرتفع في الأسواق ذات الحماية
بروكسي سكنية	Wildberries، Ozon، Amazon، زاحف Google Maps — مواقع تكتشف IP مراكز البيانات	منخفض مع التدوير الصحيح
بروكسي موبايل	استخراج وسائل التواصل الاجتماعي (Instagram، TikTok) من خلال ممثلي Apify، حيث تحتاج إلى "نقاء" IP الأقصى	أدنى

لاستخراج البيانات من الأسواق مثل Wildberries و Ozon، فإن الخيار الأمثل هو بروكسي سكنية, لأنها تستخدم عناوين IP حقيقية لمزودي الخدمة المنزلية ونادرًا ما تقع تحت الفلاتر القوية ضد الروبوتات. بالنسبة للمصادر الأقل حماية (RSS، كتالوجات مفتوحة، مواقع الشركات) يكفي استخدام IP مراكز البيانات — فهي أرخص وأسرع.

كيفية توصيل بروكسي الخاص بالممثل: الكود والإعدادات

تم بناء معظم الممثلين على Apify على Crawlee (المعروف سابقًا باسم Apify SDK) وتدعم تمرير قائمة البروكسي الخاصة بك من خلال المعلمة proxyConfiguration. بدلاً من المجموعة المدمجة، يتم تحديد مصفوفة من عناوين البروكسي الخاصة بك.

import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';

await Actor.init();

// نمرر قائمة البروكسي الخاصة بدلاً من useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [
        'http://user:[email protected]:12345',
        'http://user:[email protected]:12345',
        'http://user:[email protected]:12345',
    ],
});

const crawler = new CheerioCrawler({
    proxyConfiguration,
    maxRequestsPerCrawl: 5000,
    async requestHandler({ request, $, log }) {
        const title = $('title').text();
        log.info(`تم جمع الصفحة: ${title}`);
        await Actor.pushData({ url: request.url, title });
    },
});

await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();

نقطة مهمة: عند الانتقال إلى بروكسي خاص، تأكد من إعداد تدوير الجلسات وفترات الانتظار بين الطلبات يدويًا — كان Apify Proxy المدمج يقوم بذلك تلقائيًا، وعند توصيل مجموعة خارجية، يجب كتابة المنطق في كود الممثل أو في تكوين الزاحف.

جدول المقارنة: المدمج مقابل البروكسي الخاص

المعيار	Apify Proxy (المدمج)	مجموعة البروكسي الخاصة
سرعة الاتصال	سطر واحد من الكود، بدون إعدادات	تتطلب 15-30 دقيقة للتكامل
التكلفة على الأحجام الصغيرة	أكثر ربحية	زائدة عن الحاجة للتشغيلات النادرة
التكلفة من 10-50 جيجابايت/شهر	تنمو بشكل متناسب مع البيانات	أكثر ربحية، غالبًا نموذج ثابت
"نقاء" مجموعة IP	مجموعة عامة، قد تكون هناك تقاطعات مع عملاء آخرين	مجموعة مخصصة أو دوارة لمهامك
مرونة الاستهداف الجغرافي	مجموعة محدودة من الدول/المناطق	اختيار مدينة/منطقة معينة للسوق
التحكم في التدوير	تلقائي، بدون إعدادات	يتم إعداده يدويًا وفقًا للنمط المطلوب

حالات الاستخدام: استخراج البيانات من الأسواق في الممارسة العملية

مراقبة الأسعار على Wildberries. يقوم البائعون الذين يتتبعون أسعار المنافسين لـ 3000-10000 SKU عدة مرات في اليوم عادةً بالبدء باستخدام Apify Proxy المدمج، ولكن بعد الشهر الأول مع فاتورة كبيرة للبيانات، ينتقلون إلى بروكسي سكنية مرتبطة بالمنطقة. هذا لا يساعد فقط في تقليل التكاليف، بل يسمح أيضًا برؤية الأسعار كما يراها المشتري من مدينة معينة — وهو أمر حاسم، حيث تعرض Wildberries أسعارًا مختلفة اعتمادًا على المخزن ومنطقة التسليم.

جمع بطاقات المنتجات على Ozon. تستخدم Ozon التحليل السلوكي بسرعة وتحظر IP عند أنماط الطلبات المتكررة. يواجه الممثل الذي يعمل عبر مجموعة Apify Proxy العامة غالبًا CAPTCHA بسبب أن نفس IP يستخدمه مستخدمون آخرون على المنصة لمهام مماثلة. الانتقال إلى مجموعة مخصصة من البروكسي السكنية مع منطق تدوير خاص وتأخيرات عشوائية بين الطلبات يقلل من تكرار CAPTCHA عدة مرات.

استخراج Google Maps والتعليقات. بالنسبة للمهام التي لا تتطلب تحديدًا جغرافيًا (مثل جمع بيانات الاتصال بالشركات في جميع أنحاء البلاد)، غالبًا ما يكفي استخدام بروكسي مراكز البيانات — فهي أسرع من السكنية وأرخص بكثير عند الأحجام الكبيرة، إذا لم يستخدم الموقع المستهدف حماية قوية ضد الروبوتات.

قائمة التحقق لاختيار البروكسي لمشروع Apify

• احسب الحجم الفعلي للبيانات للممثل شهريًا (الطلبات × الوزن المتوسط للصفحة)
• قارن هذا الحجم مع تسعيرة Apify Proxy المدمج — إذا كان يتجاوز 5-10 جيجابايت بانتظام، فكر في البديل
• حدد مدى حساسية الموقع المستهدف للروبوتات — تتطلب الأسواق مثل Ozon IP سكنية
• تحقق مما إذا كانت هناك حاجة لربط جغرافي بمنطقة معينة (هذا مهم لـ Wildberries و Ozon)
• قم بإعداد تدوير الجلسات وفترات الانتظار بين الطلبات يدويًا عند الانتقال إلى مجموعة خارجية
• قم بإيقاف تحميل الموارد الزائدة (الصور، الخطوط، المتعقبين) في الممثل — سيقلل هذا من استهلاك البيانات بغض النظر عن نوع البروكسي
• اختبر المجموعة على حجم صغير قبل نقل جميع الممثلين إلى التكوين الجديد

الخاتمة

يعد Apify Proxy المدمج بداية مريحة للمهام لمرة واحدة والتشغيلات الاختبارية الصغيرة، ولكن عند استخراج البيانات بشكل منتظم أو صناعي من الأسواق، تتجاوز تكلفته بسرعة تكاليف مجموعة البروكسي الخاصة. يتطلب الانتقال مزيدًا من الإعداد في البداية — كتابة تدوير، جلسات وتكوين البروكسي في كود الممثل — ولكنه يعود بالنفع بالفعل في الشهر الأول عند أحجام من 10-50 جيجابايت من البيانات.

إذا كانت ممثلوك تجمع البيانات من Wildberries أو Ozon أو Amazon، فكر في بروكسي سكنية — فهي توفر خطرًا منخفضًا للحظر وتسمح بتحديد المنطقة المطلوبة لعرض الأسعار بشكل صحيح. للمصادر الأقل حماية بدون حماية قوية ضد الروبوتات، يمكن استخدام بروكسي مراكز البيانات الأكثر اقتصادية، وللقيام باستخراج البيانات من التطبيقات المحمولة ووسائل التواصل الاجتماعي عبر ممثلي Apify، يجب النظر في بروكسي موبايل — فهي توفر "نقاء" IP الأقصى مع أدنى خطر للكشف.