फोरम और विज्ञापन बोर्ड से डेटा इकट्ठा करना: प्रॉक्सी के माध्यम से बिना ब्लॉक के डेटा कैसे इकट्ठा करें

फोरम और विज्ञापन बोर्डों से डेटा इकट्ठा करना मार्केटर्स, बाजार विश्लेषकों और व्यवसाय मालिकों के लिए अत्यंत महत्वपूर्ण कार्य है। प्रतिस्पर्धियों की कीमतों की निगरानी के लिए अविटो का पार्सिंग, उद्योग फोरम से संपर्क इकट्ठा करना, विशेष प्लेटफार्मों पर समीक्षाओं का विश्लेषण - ये सभी कार्य एक समस्या में उलझ जाते हैं: साइटें सक्रिय रूप से स्वचालित डेटा संग्रह को ब्लॉक करती हैं। इस लेख में, हम देखेंगे कि प्रॉक्सी के माध्यम से स्थिर पार्सिंग कैसे सेट करें और बैन से कैसे बचें।

फोरम और विज्ञापन बोर्ड पार्सिंग को क्यों ब्लॉक करते हैं

प्लेटफार्मों के मालिक अपने डेटा की सुरक्षा कई कारणों से करते हैं। सबसे पहले, सामूहिक पार्सिंग सर्वरों पर लोड पैदा करती है - एक पार्सर प्रति घंटे हजारों अनुरोध उत्पन्न कर सकता है, जो साइट पर सैकड़ों उपयोगकर्ताओं के एक साथ आने के बराबर है। दूसरे, इकट्ठा किए गए डेटा का अक्सर प्रतिस्पर्धियों द्वारा उपयोग किया जाता है: अविटो की कीमतें निगरानी प्रणालियों में जाती हैं, फोरम से संपर्क - ठंडी बिक्री के लिए डेटाबेस में।

आधुनिक सुरक्षा प्रणालियाँ कई मापदंडों का विश्लेषण करती हैं: एक IP से अनुरोधों की आवृत्ति, व्यवहार के पैटर्न (पार्सर बहुत तेजी से और लगातार पृष्ठ खोलता है), ब्राउज़र हेडर, JavaScript की उपस्थिति। उदाहरण के लिए, अविटो कई स्तरों की सुरक्षा का उपयोग करता है: User-Agent की जांच, कुकीज़ का विश्लेषण, ब्राउज़र का फिंगरप्रिंटिंग, संदिग्ध गतिविधि पर कैप्चा।

सामान्य संकेत, जिनसे आपको पहचाना जाएगा:

• एक IP पता - यदि सभी अनुरोध एक ही IP से आते हैं, तो यह तात्कालिक बैन है
• उच्च अनुरोध आवृत्ति - सामान्य उपयोगकर्ता प्रति सेकंड 10 पृष्ठ नहीं खोल सकता
• कुकीज़ और JavaScript की अनुपस्थिति - साधारण स्क्रिप्ट JS को निष्पादित नहीं करती हैं और कुकीज़ को सहेजती नहीं हैं
• संदिग्ध User-Agent - पुराने ब्राउज़र के संस्करण या हेडर का असंगति
• पृष्ठों का अनुक्रमिक ब्राउज़िंग - पार्सिंग सख्ती से क्रम में (पृष्ठ 1, 2, 3...) अप्राकृतिक लगती है

फोरम पार्सिंग के लिए कौन से प्रॉक्सी उपयुक्त हैं

प्रॉक्सी के प्रकार का चयन डेटा की मात्रा, बजट और लक्षित साइट की सुरक्षा के स्तर पर निर्भर करता है। आइए तीन मुख्य विकल्पों पर विचार करें और उनके पार्सिंग में उपयोग पर चर्चा करें।

डेटा सेंटर प्रॉक्सी - सबसे सस्ता विकल्प है, सरल कार्यों के लिए उपयुक्त है। यदि आपको एक छोटे विषय के फोरम या बिना गंभीर सुरक्षा के विज्ञापन बोर्ड को पार्स करना है, तो यह पर्याप्त है। गति प्रति घंटे हजारों पृष्ठों को संसाधित करने की अनुमति देती है। लेकिन अविटो, YouDo, forum.ru और अन्य बड़े प्लेटफार्म जल्दी से ऐसे IP को पहचान लेंगे और ब्लॉक कर देंगे।

रिसिडेंशियल प्रॉक्सी - अधिकांश कार्यों के लिए मूल्य और गुणवत्ता का सबसे अच्छा संतुलन है। ये वास्तविक घरेलू उपयोगकर्ताओं के IP हैं, जिन्हें साइटें सामान्य आगंतुकों से अलग नहीं कर सकतीं। अविटो, यांडेक्स.सेवाएँ, बड़े फोरम के लिए यह मानक विकल्प है। एक महत्वपूर्ण बिंदु: रिसिडेंशियल प्रॉक्सी आमतौर पर ट्रैफिक के लिए भुगतान के साथ बेची जाती हैं, इसलिए अपने अनुरोधों को अनुकूलित करें - अतिरिक्त चित्र और स्क्रिप्ट को न लोड करें।

मोबाइल प्रॉक्सी - जटिल मामलों के लिए अधिकतम विश्वसनीयता। मोबाइल ऑपरेटरों के IP (MTS, Beeline, MegaFon) का सबसे उच्च स्तर का विश्वास होता है, क्योंकि एक IP के पीछे हजारों वास्तविक उपयोगकर्ता हो सकते हैं (CGNAT तकनीक)। इसका उपयोग कठोर सुरक्षा वाले प्लेटफार्मों के लिए करें या जब आपको बिना बैन के महत्वपूर्ण डेटा इकट्ठा करना हो।

अविटो का पार्सिंग: विशेषताएँ और सेटअप

अविटो - रनेट में सबसे सुरक्षित प्लेटफार्मों में से एक है। एंटी-पार्सिंग प्रणाली में JavaScript की जांच, ब्राउज़र का फिंगरप्रिंटिंग, व्यवहार का विश्लेषण, और सबसे छोटी संदिग्धता पर कैप्चा शामिल है। साधारण स्क्रिप्ट के साथ अनुरोध काम नहीं करेगा - आप तीसरे अनुरोध पर एक खाली पृष्ठ या कैप्चा प्राप्त करेंगे।

अविटो के स्थिर पार्सिंग के लिए क्या आवश्यक है:

सामान्य कार्य - प्रतिस्पर्धियों की कीमतों की निगरानी करना। आपको अपनी श्रेणी में हर दिन विज्ञापन इकट्ठा करने और परिवर्तनों पर नज़र रखने की आवश्यकता है। 500-1000 विज्ञापनों वाली श्रेणी के लिए लगभग 50-100 अनुरोधों की आवश्यकता होगी (पैगिनेशन और उत्पाद कार्डों को ध्यान में रखते हुए)। सही सेटअप के साथ, यह 10-15 मिनट और रिसिडेंशियल प्रॉक्सी के 1-2 जीबी ट्रैफिक का समय लेगा।

अविटो के लिए पार्सर सेटअप के चरण-दर-चरण निर्देश:

1. प्रॉक्सी प्राप्त करें - रोटेशन के साथ रिसिडेंशियल IP का एक पूल ऑर्डर करें। एक श्रेणी की दैनिक निगरानी के लिए महीने में 10-20 जीबी ट्रैफिक पर्याप्त होगा।
2. हेडलेस ब्राउज़र सेट करें - Selenium या Puppeteer का उपयोग करें। महत्वपूर्ण: हेडलेस मोड सक्षम करें, लेकिन डिटेक्शन को बायपास करने के लिए पैरामीटर जोड़ें (window.navigator.webdriver = false)।
3. ब्राउज़र में प्रॉक्सी सेट करें - ब्राउज़र लॉन्च करते समय प्रॉक्सी डेटा पास करें। Selenium के लिए यह पैरामीटर --proxy-server है, Puppeteer के लिए - puppeteer.launch() में args।
4. वास्तविक व्यवहार जोड़ें - 3-7 सेकंड की यादृच्छिक देरी, डेटा इकट्ठा करने से पहले पृष्ठ को स्क्रॉल करना, माउस की गति (Selenium के लिए)।
5. कुकीज़ सहेजें - पहले दौरे के बाद कुकीज़ को सहेजें और उन्हें अगले सत्रों में उपयोग करें। इससे संदेह कम होता है।
6. नियमित रूप से IP बदलें - 5-10 मिनट में या 20-30 अनुरोधों के बाद रोटेशन। पूरे पार्सिंग के लिए एक IP का उपयोग न करें।

शुरुआती लोगों की एक महत्वपूर्ण गलती - बहुत तेजी से पार्स करना। यहां तक कि प्रॉक्सी के साथ, यदि आप हर सेकंड पृष्ठ खोलते हैं, तो प्रणाली व्यवहार के पैटर्न के कारण बॉट को पहचान लेगी। सामान्य उपयोगकर्ता विज्ञापन को 10-30 सेकंड पढ़ता है, नीचे स्क्रॉल करता है, खोज पर वापस लौटता है। आपका पार्सर इसे अनुकरण करना चाहिए: देरी, स्क्रॉलिंग, कभी-कभी पड़ोसी श्रेणियों पर जाना।

फोरम से डेटा इकट्ठा करना: रणनीतियाँ और उपकरण

फोरम सुरक्षा के स्तर में भिन्न होते हैं। phpBB या vBulletin पर पुराने फोरम आमतौर पर गंभीर एंटी-बॉट सुरक्षा नहीं रखते हैं - डेटा सेंटर प्रॉक्सी और साधारण पार्सर पर्याप्त होते हैं। आधुनिक प्लेटफार्म (forum.ru, विशेष उद्योग फोरम) Cloudflare या अपनी सुरक्षा प्रणालियों का उपयोग करते हैं।

फोरम पार्सिंग के सामान्य कार्य:

• संपर्क इकट्ठा करना - ईमेल, फोन, टेलीग्राम उपयोगकर्ताओं के हस्ताक्षरों और संदेशों से
• ब्रांड का उल्लेख मॉनिटर करना - आपकी कंपनी या प्रतिस्पर्धियों के बारे में समीक्षाओं की निगरानी करना
• भावनाओं का विश्लेषण - उत्पादों, सेवाओं, उद्योग में प्रवृत्तियों के बारे में राय इकट्ठा करना
• लीड्स की खोज - लोग जो आपकी समस्या का समाधान खोज रहे हैं (उदाहरण के लिए, निर्माण फोरम पर ठेकेदारों की खोज कर रहे हैं)

छोटे फोरम (10,000 पृष्ठों तक) के लिए तैयार उपकरण उपयुक्त हैं: Octoparse, ParseHub, WebHarvy। इनमें एक दृश्य इंटरफ़ेस होता है - आप बस उन तत्वों पर क्लिक करते हैं जिन्हें इकट्ठा करना है, और उपकरण पार्सर बनाता है। सेटिंग्स में प्रॉक्सी, देरी निर्दिष्ट करें, और संग्रह शुरू करें।

बड़े प्रोजेक्ट्स (सैकड़ों हजारों पृष्ठ) के लिए एक कस्टम पार्सर की आवश्यकता होती है। लोकप्रिय फ्रेमवर्क: Scrapy (Python), Puppeteer (JavaScript), Playwright (सभी भाषाओं का समर्थन)। ये लूपिंग लॉजिक, त्रुटियों को संभालने, प्रॉक्सी पूल के माध्यम से वितरित पार्सिंग को लचीले ढंग से सेट करने की अनुमति देते हैं।

एक महत्वपूर्ण बिंदु: कई फोरम संपर्कों या छिपे हुए अनुभागों को देखने के लिए पंजीकरण की आवश्यकता होती है। पहले से कुछ खातों को बनाएं (हाथ से, विभिन्न IP से), उन्हें 1-2 सप्ताह तक बनाए रखें, कुछ संदेश भेजें। इन खातों का उपयोग पार्सिंग के लिए करें - प्राधिकृत उपयोगकर्ता कम संदेह पैदा करता है।

IP रोटेशन और सत्र प्रबंधन

सही IP रोटेशन दीर्घकालिक स्थिर पार्सिंग की कुंजी है। दो मुख्य दृष्टिकोण हैं: समय के अनुसार रोटेशन और अनुरोधों की संख्या के अनुसार रोटेशन।

समय के अनुसार रोटेशन: हर N मिनट में IP बदलें। उन कार्यों के लिए उपयुक्त है जहां पूर्वानुमानशीलता महत्वपूर्ण है। उदाहरण के लिए, हर 5 मिनट में IP बदलते हुए अविटो को पार्स करें - इस तरह आप सुनिश्चित करते हैं कि आप एक पते से अनुरोधों की सीमा नहीं पार करेंगे। कमी: यदि पार्सर गिर गया या धीमा हो गया, तो आप IP को व्यर्थ में खो देते हैं।

अनुरोधों के अनुसार रोटेशन: हर N अनुरोधों (उदाहरण के लिए, हर 20-50 पृष्ठ) में IP बदलें। प्रॉक्सी का अधिक प्रभावी उपयोग, लेकिन सटीक गणना की आवश्यकता होती है। यदि साइट प्रति घंटे 100 अनुरोधों को IP पर सीमित करती है, तो रोटेशन को 80 अनुरोधों पर सेट करें - आप त्रुटियों के लिए एक बैकअप छोड़ते हैं।

सत्र प्रबंधन: जब आप IP बदलते हैं, तो तय करें - सत्र (कुकीज़, localStorage) को रीसेट करना है या सहेजना है। प्राधिकृत पार्सिंग के लिए (फोरम, व्यक्तिगत खाते) सत्र को सहेजें, लेकिन IP को कम बदलें - अन्यथा साइट को संदेह होगा कि खाता हैक किया गया है (विभिन्न शहरों से लॉगिन)। सार्वजनिक डेटा (अविटो बिना प्राधिकरण) के लिए IP बदलने पर सब कुछ रीसेट करें - प्रत्येक IP नए उपयोगकर्ता के रूप में दिखता है।

एक उन्नत तकनीक - स्टिकी सत्र (चिपचिपे सत्र)। कुछ प्रॉक्सी प्रदाता आपको 10-30 मिनट के लिए IP "फिक्स" करने की अनुमति देते हैं। आप एक IP प्राप्त करते हैं, उस पर सभी अनुरोध करते हैं जो एक तार्किक कार्य के दायरे में हैं (उदाहरण के लिए, अविटो की एक श्रेणी का पार्सिंग), फिर अगले श्रेणी के लिए नए IP पर स्विच करें। यह देखने के दौरान IP बदलने की तुलना में अधिक स्वाभाविक है।

प्रॉक्सी के लिए लोकप्रिय पार्सरों का सेटअप

लोकप्रिय पार्सिंग उपकरणों में प्रॉक्सी सेटअप पर विचार करें। तकनीकी विशेषज्ञों के लिए उदाहरण, जो अपने पार्सर लिखते हैं।

Scrapy (Python): प्रॉक्सी के रोटेशन के लिए मिडलवेयर जोड़ें। settings.py में प्रॉक्सी की एक सूची बनाएं और प्रत्येक अनुरोध पर स्वचालित रोटेशन के लिए RandomProxy मिडलवेयर का उपयोग करें।

# settings.py
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
]

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

Puppeteer (JavaScript): ब्राउज़र लॉन्च करते समय प्रॉक्सी पास करें। रोटेशन के लिए, प्रॉक्सी का एक पूल बनाएं और प्रत्येक नए ब्राउज़र लॉन्च पर यादृच्छिक रूप से चुनें।

const puppeteer = require('puppeteer');

const proxyList = [
  'proxy1.example.com:8000',
  'proxy2.example.com:8000'
];

const proxy = proxyList[Math.floor(Math.random() * proxyList.length)];

const browser = await puppeteer.launch({
  args: [
    `--proxy-server=${proxy}`,
    '--no-sandbox'
  ]
});

// प्रॉक्सी का प्रमाणीकरण
const page = await browser.newPage();
await page.authenticate({
  username: 'user',
  password: 'pass'
});

Selenium (Python): Chrome के विकल्पों के माध्यम से प्रॉक्सी सेट करें। HTTP प्रमाणीकरण के लिए, एक्सटेंशन का उपयोग करें या URL में क्रेडेंशियल्स पास करें।

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://user:pass@proxy.example.com:8000')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.avito.ru/moskva/kvartiry')

तैयार पार्सर (Octoparse, ParseHub): कार्य सेटिंग्स में "Proxy" या "IP Rotation" अनुभाग खोजें। प्रॉक्सी की सूची host:port:user:pass प्रारूप में जोड़ें या रोटेशन के लिए API URL निर्दिष्ट करें। "प्रत्येक अनुरोध पर रोटेट करें" या "N मिनट में रोटेट करें" विकल्प सक्षम करें।

एंटी-बॉट सुरक्षा को बायपास करने की तकनीकें

प्रॉक्सी IP द्वारा ब्लॉकिंग की समस्या को हल करते हैं, लेकिन आधुनिक सुरक्षा प्रणालियाँ दर्जनों अन्य मापदंडों का विश्लेषण करती हैं। एंटी-बॉट प्रणालियों को बायपास करने के लिए यहाँ उपायों का एक सेट है।

1. वास्तविक User-Agent और हेडर: वर्तमान ब्राउज़र के संस्करणों का उपयोग करें। यदि वर्तमान में Chrome 120 जारी किया गया है, तो Chrome 90 का User-Agent न रखें। हेडर की संगति की जांच करें: यदि User-Agent "Windows" कहता है, जबकि sec-ch-ua-platform हेडर "Linux" कहता है - तो आपको पहचान लिया जाएगा।

# 2024 के लिए अच्छे हेडर का सेट
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}

2. हेडलेस ब्राउज़रों के डिटेक्शन को बायपास करना: Selenium और Puppeteer में डिफ़ॉल्ट रूप से स्वचालन के संकेत होते हैं (navigator.webdriver = true गुण)। इन संकेतों को छिपाने के लिए स्टील्थ प्लगइन्स या पैच का उपयोग करें।

// Puppeteer Stealth Plugin
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch({headless: true});

3. JavaScript फिंगरप्रिंटिंग: साइटें ब्राउज़र का फिंगरप्रिंट (canvas fingerprint, WebGL, फ़ॉन्ट, स्क्रीन रिज़ॉल्यूशन) इकट्ठा करती हैं। इन मापदंडों को बायपास करने के लिए, इनकी यादृच्छिकता का उपयोग करें या वास्तविक ब्राउज़र प्रोफाइल का उपयोग करें। उपकरण: FingerprintJS Randomizer, Multilogin (तैयार प्रोफाइल के साथ प्लेटफार्म)।

4. कैप्चा का प्रबंधन: यदि कैप्चा फिर भी दिखाई देता है, तो पहचानने वाली सेवाओं का उपयोग करें: 2Captcha, Anti-Captcha, CapMonster। ये 1000 कैप्चा के लिए $1-3 लागत रखते हैं। API के माध्यम से एकीकरण में 10-15 मिनट लगते हैं। reCAPTCHA v2/v3 के लिए तैयार पुस्तकालय हैं।

5. व्यवहार पैटर्न: कार्यों में यादृच्छिकता जोड़ें। हर 5 सेकंड में पृष्ठ न खोलें - 3 से 8 सेकंड के बीच भिन्नता रखें। कभी-कभी 30-60 सेकंड के लिए ब्रेक लें, लंबे पृष्ठ को पढ़ने का अनुकरण करें। फोरम पर कभी-कभी उपयोगकर्ताओं के प्रोफाइल पर जाएँ, न कि केवल विषयों को इकट्ठा करें।

निष्कर्ष

फोरम और विज्ञापन बोर्डों का पार्सिंग एक ऐसा कार्य है, जिसमें समग्र दृष्टिकोण की आवश्यकता होती है। प्रॉक्सी IP द्वारा ब्लॉकिंग की समस्या को हल करते हैं, लेकिन स्थिरता के लिए सही हेडर, वास्तविक व्यवहार, फिंगरप्रिंटिंग को बायपास करना और उचित रोटेशन की आवश्यकता होती है। प्रॉक्सी के प्रकार का चयन लक्षित साइट की सुरक्षा के स्तर पर निर्भर करता है: सरल फोरम के लिए डेटा सेंटर पर्याप्त हैं, जबकि अविटो और बड़े प्लेटफार्मों के लिए रिसिडेंशियल या मोबाइल IP की आवश्यकता होती है।

सफल पार्सिंग के मुख्य सिद्धांत: धीरे-धीरे और स्वाभाविक रूप से, नियमित IP रोटेशन, जटिल साइटों के लिए हेडलेस ब्राउज़रों का उपयोग, आवश्यकता पड़ने पर कैप्चा का प्रबंधन। गति के पीछे न भागें - बेहतर है कि महीने भर में स्थिर रूप से 500 पृष्ठ इकट्ठा करें, बजाय इसके कि 5000 प्रति घंटे इकट्ठा करें और दो दिन में बैन हो जाएं।

यदि आप अविटो, YouDo, बड़े फोरम या गंभीर सुरक्षा वाले प्लेटफार्मों का पार्सिंग करने की योजना बना रहे हैं, तो हम रिसिडेंशियल प्रॉक्सी का उपयोग करने की सिफारिश करते हैं - ये विश्वसनीयता और लागत का सबसे अच्छा संतुलन प्रदान करते हैं। अत्यधिक सुरक्षित प्लेटफार्मों या महत्वपूर्ण डेटा इकट्ठा करने के लिए मोबाइल प्रॉक्सी अधिकतम स्तर के विश्वास के साथ उपयुक्त हैं।