اسکرپینگ ایمن پروفایل‌های توییتر/X: چگونه بدون مسدود شدن از طریق پروکسی پارس کنیم

توییتر (اکنون X) به طور فعال با استخراج خودکار داده‌ها مبارزه می‌کند: آدرس‌های IP را مسدود می‌کند، تعداد درخواست‌ها را محدود می‌کند و حساب‌ها را در صورت فعالیت مشکوک مسدود می‌کند. اگر شما در حال جمع‌آوری داده‌ها برای تحقیقات بازاریابی، نظارت بر ذکر برند یا تحلیل رقبا هستید — به یک استراتژی صحیح برای کار با پروکسی و ابزارهای ضد شناسایی نیاز دارید.

در این راهنما بررسی خواهیم کرد که چگونه اسکرپینگ ایمن توییتر/X را تنظیم کنیم، کدام نوع پروکسی‌ها برای وظایف مختلف مناسب هستند و چگونه از مسدود شدن در حین استخراج انبوه پروفایل‌ها جلوگیری کنیم.

چرا توییتر/X استخراج را مسدود می‌کند و این چگونه کار می‌کند

پس از تغییر برند به X، این پلتفرم سیاست‌های خود را در مورد جمع‌آوری خودکار داده‌ها به شدت سخت‌تر کرده است. سیستم حفاظت به طور همزمان چندین پارامتر را تجزیه و تحلیل می‌کند و حتی در صورت کار دستی، اگر احتیاط‌ها رعایت نشود، ممکن است مسدود شوید.

تراگرهای اصلی مسدود شدن توییتر/X

1. تجاوز به محدودیت‌های نرخ. توییتر محدودیت‌های سختی برای تعداد درخواست‌ها در دقیقه تعیین می‌کند. برای کاربران غیرمجاز، این حدود 180 درخواست در هر 15 دقیقه است، و برای کاربران مجاز — تا 900 درخواست. در صورت تجاوز، شما خطای 429 (بیش از حد درخواست) دریافت خواهید کرد و در صورت نقض‌های مکرر — آدرس IP شما مسدود خواهد شد.

2. الگوهای مشکوک رفتاری. اگر شما پروفایل‌ها را با سرعت 10 عدد در دقیقه باز کنید، صفحات را با سرعت یکسان اسکرول کنید یا بدون وقفه اقداماتی انجام دهید — سیستم شما را به عنوان ربات شناسایی می‌کند. یک کاربر واقعی وقفه‌هایی دارد، محتوا را می‌خواند و گاهی حواسش پرت می‌شود.

3. استفاده از یک IP برای چندین حساب. اگر از یک آدرس IP به 5-10 حساب مختلف در یک بازه زمانی کوتاه وارد شوید — این یک پرچم قرمز است. توییتر ممکن است همه حساب‌ها را به صورت زنجیره‌ای مسدود کند (chain-ban).

4. عدم وجود اثر انگشت دیجیتال (fingerprint). این پلتفرم داده‌هایی درباره مرورگر جمع‌آوری می‌کند: نسخه، افزونه‌ها، وضوح صفحه، منطقه زمانی، WebGL، Canvas. اگر این داده‌ها با دستگاه واقعی مطابقت نداشته باشد یا در چندین حساب مشترک باشد — این یک دلیل برای مشکوک شدن است.

چگونه توییتر/X خودکار بودن را شناسایی می‌کند

سیستم حفاظت از تجزیه و تحلیل چند سطحی استفاده می‌کند:

• تحلیل User-Agent و هدرها. اگر هدرهای درخواست‌های HTTP با مرورگر واقعی مطابقت نداشته باشند یا نشانه‌های خودکار بودن (مانند Selenium، Puppeteer در User-Agent) داشته باشند — درخواست مسدود می‌شود.
• بررسی JavaScript. توییتر به طور فعال از فراخوانی‌های JavaScript برای بررسی این که آیا صفحه را یک مرورگر واقعی باز می‌کند یا یک کلاینت HTTP ساده استفاده می‌کند.
• تحلیل رفتار ماوس و کیبورد. این پلتفرم حرکات نشانگر، سرعت اسکرول، الگوهای کلیک را ردیابی می‌کند. ربات‌ها معمولاً در خطوط مستقیم حرکت می‌کنند یا اصلاً ماوس را حرکت نمی‌دهند.
• شهرت آدرس IP. اگر IP در لیست سیاه باشد (مرکز داده یک هاستینگ معروف، ارائه‌دهنده پروکسی با شهرت بد) — اعتماد به آن کاهش می‌یابد.

کدام پروکسی‌ها برای استخراج توییتر/X مناسب هستند: مقایسه انواع

انتخاب نوع پروکسی بستگی به وظایف شما دارد: استخراج انبوه داده‌های عمومی، کار با حساب‌های مجاز یا نظارت بر رقبا. هر نوع را بررسی خواهیم کرد و کاربرد آن را برای توییتر/X توضیح خواهیم داد.

پروکسی‌های مسکونی — انتخاب بهینه برای کار با حساب‌ها

پروکسی‌های مسکونی از آدرس‌های IP کاربران واقعی خانگی که توسط ارائه‌دهندگان اینترنت صادر شده‌اند استفاده می‌کنند. برای توییتر/X این امن‌ترین گزینه است، زیرا پلتفرم نمی‌تواند این ترافیک را از ترافیک کاربر عادی تشخیص دهد.

کی زمانی باید از پروکسی‌های مسکونی برای توییتر/X استفاده کنید:

• کار با حساب‌های مجاز (ورود، استخراج پروفایل‌های خصوصی)
• نظارت بلندمدت بر حساب‌ها یا هشتگ‌های خاص
• استخراج با شدت بالا (زمانی که باید ریسک بن را به حداقل برسانید)
• جمع‌آوری داده‌ها از مناطق جغرافیایی مختلف (برای مثال، برای تحلیل روندهای منطقه‌ای)

مزایا: حداکثر سطح اعتماد از توییتر/X، درصد پایین مسدود شدن، امکان کار با کپچا (معمولاً پیش نمی‌آید)، پشتیبانی از جلسات چسبنده (یک IP به مدت 10-30 دقیقه).

معایب: هزینه بالاتر (معمولاً پرداخت بر اساس ترافیک، از 7-15 دلار برای 1 گیگابایت)، سرعت کمتر از مراکز داده.

پروکسی‌های موبایل — برای حداکثر حفاظت از حساب‌ها

پروکسی‌های موبایل از آدرس‌های IP اپراتورهای موبایل (4G/5G) استفاده می‌کنند. این نوع IP برای شبکه‌های اجتماعی معتبرترین نوع است، زیرا توییتر/X به ندرت IP‌های موبایل را مسدود می‌کند — یک آدرس می‌تواند هزاران کاربر واقعی را در خود داشته باشد.

کی زمانی باید از پروکسی‌های موبایل برای توییتر/X استفاده کنید:

• کار با حساب‌های ارزشمند که نمی‌توان آنها را از دست داد
• استخراج پس از مسدود شدن‌های قبلی (زمانی که نیاز به حداکثر حفاظت دارید)
• خودکار کردن اقدامات: لایک‌ها، ریتوییت‌ها، دنبال کردن (اگرچه این کار قوانین توییتر را نقض می‌کند)
• دور زدن مسدودیت‌های سخت بر اساس IP (IP‌های موبایل تقریباً هرگز در لیست سیاه قرار نمی‌گیرند)

مزایا: حداکثر سطح اعتماد، ریسک تقریباً صفر بن بر اساس IP، امکان چرخش IP از طریق حالت "هواپیما" (تغییر IP هر 5-10 دقیقه).

معایب: گران‌ترین نوع پروکسی (از 50-100 دلار برای یک IP در ماه)، تعداد محدود IP‌های موجود، سرعت بستگی به کیفیت سیگنال موبایل دارد.

پروکسی‌های مراکز داده — برای استخراج انبوه داده‌های عمومی

پروکسی‌های مراکز داده — اینها آدرس‌های IP سرورهای ارائه‌دهندگان هاستینگ هستند. آنها سریع و ارزان هستند، اما توییتر/X به آنها با شک نگاه می‌کند.

کی زمانی می‌توان از مراکز داده برای توییتر/X استفاده کرد:

• استخراج پروفایل‌های عمومی بدون مجوز (عملکرد محدود)
• جمع‌آوری داده‌های یکباره با شدت پایین
• آزمایش اسکریپت‌های استخراج قبل از راه‌اندازی بر روی پروکسی‌های مسکونی
• کار از طریق API رسمی (اگر دسترسی پولی دارید)

مزایا: هزینه پایین (از 1-3 دلار برای IP در ماه)، سرعت بالا (تا 1 گیگابیت در ثانیه)، ثبات اتصال.

معایب: ریسک بالا برای مسدود شدن، اغلب نیاز به حل کپچا، مناسب برای کار با حساب‌های مجاز نیست، بسیاری از IP‌ها قبلاً در لیست سیاه توییتر/X قرار دارند.

جدول مقایسه انواع پروکسی برای توییتر/X

محدودیت‌های نرخ توییتر/X: چگونه از تجاوز به محدودیت‌های درخواست جلوگیری کنیم

توییتر/X محدودیت‌های سختی برای تعداد درخواست‌ها تعیین می‌کند تا از بارگذاری سرورها و جمع‌آوری خودکار داده‌ها جلوگیری کند. اگر از محدودیت‌ها تجاوز کنید — مسدودیت موقتی (از 15 دقیقه تا چند ساعت) یا بن دائمی IP/حساب دریافت خواهید کرد.

محدودیت‌های فعلی توییتر/X (2024)

پس از معرفی اشتراک پولی X Premium، محدودیت‌ها به چندین دسته تقسیم شدند:

مهم: این محدودیت‌ها نه تنها به API بلکه به مشاهده عادی از طریق رابط وب نیز اعمال می‌شود. اگر از طریق مرورگر با شبیه‌سازی اقدامات کاربر استخراج می‌کنید — این محدودیت‌ها همچنان اعمال می‌شوند.

چگونه از محدودیت‌های نرخ در حین استخراج دور بزنیم

1. چرخش آدرس‌های IP. از یک مجموعه پروکسی با چرخش خودکار استفاده کنید. برای پروکسی‌های مسکونی، بهترین فرکانس تغییر — هر 50-100 درخواست یا هر 10-15 دقیقه است. این کار به توزیع بار بین IP‌های مختلف کمک می‌کند و از تجاوز به محدودیت‌ها برای یک آدرس جلوگیری می‌کند.

2. استفاده از چندین حساب. اگر نیاز به جمع‌آوری حجم زیادی از داده‌ها دارید، 5-10 حساب توییتر/X ایجاد کنید و استخراج را بین آنها توزیع کنید. هر حساب باید از طریق پروکسی منحصر به فرد خود کار کند و اثر انگشت دیجیتال (fingerprint) جداگانه‌ای داشته باشد.

3. تأخیرها بین درخواست‌ها. درخواست‌ها را با حداکثر سرعت انجام ندهید. وقفه‌های تصادفی اضافه کنید:

• بین مشاهده پروفایل‌ها: 3-7 ثانیه
• بین اسکرول کردن فید: 2-5 ثانیه
• بین جستجو بر اساس هشتگ‌ها: 5-10 ثانیه
• تأخیرهای طولانی هر 50-100 اقدام: 30-60 ثانیه

4. کش کردن داده‌ها. داده‌های یکسان را دوباره درخواست نکنید. نتایج استخراج را در پایگاه داده ذخیره کنید و بررسی کنید که آیا پروفایل قبلاً پردازش شده است یا خیر.

تنظیم مرورگر ضد شناسایی برای اسکرپینگ ایمن

مرورگرهای ضد شناسایی به شما اجازه می‌دهند اثر انگشت‌های دیجیتال منحصر به فرد (fingerprints) برای هر حساب توییتر/X ایجاد کنید، که برای استخراج ایمن بسیار حیاتی است. بدون این، پلتفرم ممکن است چندین حساب را به هم مرتبط کند و آنها را به صورت زنجیره‌ای مسدود کند.

مرورگرهای ضد شناسایی محبوب برای توییتر/X

Dolphin Anty — یکی از محبوب‌ترین گزینه‌ها در میان آربیتراژکنندگان و متخصصان SMM است. تعرفه رایگان اجازه می‌دهد تا 10 پروفایل ایجاد کنید، که برای وظایف کوچک استخراج کافی است.

AdsPower — تعادل خوبی بین عملکرد و قیمت دارد. دارای اتوماسیون داخلی از طریق RPA (اتوماسیون فرآیند رباتیک) است، که به شما امکان می‌دهد استخراج را بدون نوشتن کد تنظیم کنید.

Multilogin — راه‌حل پریمیوم با حداکثر سطح حفاظت. توسط آژانس‌های بزرگ استفاده می‌شود، اما هزینه بالایی دارد (از 99 یورو در ماه). فقط برای استخراج حرفه‌ای حجم زیاد داده‌ها توجیه‌پذیر است.

GoLogin — گزینه‌ای اقتصادی با کیفیت خوب اثر انگشت‌ها. دارای برنامه موبایل برای کار با حساب‌ها در حین حرکت است.

تنظیم مرحله به مرحله پروفایل برای استخراج توییتر/X (با مثال Dolphin Anty)

مرحله 1: ایجاد پروفایل جدید مرورگر

• مرورگر Dolphin Anty را باز کنید و روی "ایجاد پروفایل" کلیک کنید
• سیستم عامل را انتخاب کنید: ویندوز، macOS یا لینوکس (سیستمی را انتخاب کنید که با دستگاه واقعی شما مطابقت دارد یا در میان کاربران توییتر محبوب‌تر است)
• نام پروفایل را مشخص کنید: به عنوان مثال، "Twitter Parser US #1"

مرحله 2: تنظیم پروکسی

• در بخش "پروکسی" نوع را انتخاب کنید: HTTP، HTTPS یا SOCKS5 (SOCKS5 برای توییتر/X ترجیح داده می‌شود)
• اطلاعات پروکسی را وارد کنید: آدرس IP، پورت، نام کاربری، رمز عبور
• روی "بررسی پروکسی" کلیک کنید — اطمینان حاصل کنید که وضعیت سبز و جغرافیای صحیح است
• مهم: برای هر حساب توییتر/X از پروکسی جداگانه استفاده کنید

مرحله 3: تنظیم اثر انگشت (fingerprint)

• User-Agent: یک User-Agent واقعی از نسخه فعلی Chrome (برای مثال، Chrome 120 در ویندوز 10) انتخاب کنید
• وضوح صفحه: از وضوح‌های محبوب استفاده کنید (1920x1080، 1366x768، 1440x900) — مقادیر عجیب و غریب نگذارید
• منطقه زمانی: باید با جغرافیای پروکسی مطابقت داشته باشد (اگر پروکسی از ایالات متحده/نیویورک است — EST قرار دهید)
• زبان مرورگر: با منطقه مطابقت دارد (en-US برای ایالات متحده، en-GB برای بریتانیا)
• WebRTC: غیرفعال کنید یا با IP پروکسی جایگزین کنید (در غیر این صورت ممکن است IP واقعی نشت کند)
• Canvas و WebGL: از حالت "Noise" (اضافه کردن نویز) استفاده کنید — این یک اثر انگشت منحصر به فرد برای هر پروفایل ایجاد می‌کند

مرحله 4: تنظیمات امنیتی اضافی

• تکمیل خودکار رمزهای عبور را غیرفعال کنید (توییتر ممکن است وجود داده‌های ذخیره شده را بررسی کند)
• پس از هر جلسه استخراج، کوکی‌ها را پاک کنید
• از افزونه‌های مرورگر استفاده نکنید — آنها اثر انگشت‌های منحصر به فرد ایجاد می‌کنند و ممکن است خودکار بودن را افشا کنند
• حالت "Do Not Track" (DNT) را فعال کنید — بسیاری از کاربران واقعی از آن استفاده می‌کنند

ابزارهای استخراج توییتر/X: از راه‌حل‌های آماده تا کد

انتخاب ابزار بستگی به مهارت‌های فنی شما و حجم وظایف دارد. گزینه‌ها را از خدمات ساده بدون کد تا اسکریپت‌های حرفه‌ای بررسی خواهیم کرد.

خدمات آماده استخراج توییتر/X (بدون کد)

Phantombuster — یک سرویس ابری اتوماسیون با الگوهای آماده برای توییتر/X. اجازه می‌دهد پروفایل‌ها، دنبال‌کنندگان، توییت‌ها را بر اساس هشتگ‌ها استخراج کنید. تنظیم آن 5-10 دقیقه طول می‌کشد: الگو را انتخاب می‌کنید، پارامترها (هشتگ، لیست حساب‌ها) را مشخص می‌کنید، پروکسی را متصل می‌کنید و شروع می‌کنید.

Apify — بازارچه‌ای برای استخراج‌کننده‌های آماده. چندین بازیگر (اسکریپت‌های آماده) برای توییتر/X وجود دارد: استخراج پروفایل‌ها، جمع‌آوری توییت‌ها، نظارت بر ذکرها. از طریق ابر کار می‌کند، از پروکسی پشتیبانی می‌کند و یک تعرفه رایگان با محدودیت‌ها دارد.

Octoparse — سازنده بصری استخراج‌کننده‌ها. شما توییتر/X را در رابط برنامه باز می‌کنید، روی عناصر مورد نیاز برای جمع‌آوری (نام، بیو، تعداد دنبال‌کنندگان) کلیک می‌کنید و برنامه به طور خودکار یک اسکریپت ایجاد می‌کند. برای وظایف ساده مناسب است، اما ممکن است در ساختار پیچیده صفحات مشکل داشته باشد.

اتوماسیون از طریق RPA در مرورگرهای ضد شناسایی

برخی از مرورگرهای ضد شناسایی (AdsPower، Octo Browser) ابزارهای داخلی RPA (اتوماسیون فرآیند رباتیک) دارند که به شما امکان می‌دهد اقدامات کاربر را ضبط و بازتولید کنید.

این چگونه کار می‌کند:

• توییتر/X را در مرورگر ضد شناسایی باز می‌کنید
• حالت ضبط اقدامات را فعال می‌کنید
• اقدامات مورد نیاز را انجام می‌دهید: پروفایل را باز می‌کنید، داده‌ها را کپی می‌کنید، به بعدی می‌روید
• ضبط را متوقف می‌کنید — مرورگر یک اسکریپت ایجاد کرده است
• لیست حساب‌ها برای استخراج را بارگذاری کرده و اسکریپت را در چرخه اجرا می‌کنید

مزایا: نیاز به مهارت‌های برنامه‌نویسی ندارد، از طریق مرورگر واقعی کار می‌کند (سطح بالای دور زدن حفاظت)، به راحتی می‌توان تأخیرهای تصادفی و شبیه‌سازی رفتار را اضافه کرد.

استخراج از طریق کد: Python + Selenium/Playwright

برای وظایف پیچیده‌تر و کنترل کامل بر روی فرآیند، از برنامه‌نویسی استفاده کنید. Python محبوب‌ترین زبان برای استخراج است به دلیل اکوسیستم غنی از کتابخانه‌ها.

کتابخانه‌های اصلی:

• Selenium — اتوماسیون مرورگر، با Chrome/Firefox کار می‌کند، از پروکسی و شبیه‌سازی اقدامات کاربر پشتیبانی می‌کند
• Playwright — جایگزین مدرن Selenium، سریع‌تر و پایدارتر، از حالت headless پشتیبانی می‌کند
• Tweepy — کتابخانه‌ای برای کار با API رسمی توییتر (نیاز به دسترسی پولی دارد)
• Twint — استخراج توییتر بدون API (توجه: توییتر به شدت این روش را مسدود می‌کند، به طور ناپایدار کار می‌کند)

مثال یک اسکریپت پایه‌ای در Python + Selenium:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
import random

# تنظیم پروکسی
proxy = "123.45.67.89:8080"  # جایگزین با پروکسی خود
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server={proxy}')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])

# راه‌اندازی مرورگر
driver = webdriver.Chrome(options=chrome_options)

# باز کردن پروفایل توییتر
driver.get('https://twitter.com/elonmusk')
time.sleep(random.uniform(3, 7))  # تأخیر تصادفی

# استخراج داده‌های پروفایل
try:
    name = driver.find_element(By.XPATH, '//div[@data-testid="UserName"]').text
    bio = driver.find_element(By.XPATH, '//div[@data-testid="UserDescription"]').text
    followers = driver.find_element(By.XPATH, '//a[contains(@href, "/followers")]/span').text
    
    print(f"نام: {name}")
    print(f"بیو: {bio}")
    print(f"دنبال‌کنندگان: {followers}")
except Exception as e:
    print(f"خطای استخراج: {e}")

driver.quit()

نکات مهم در کار با کد:

• بین اقدامات time.sleep(random.uniform(3, 7)) اضافه کنید — این رفتار کاربر واقعی را شبیه‌سازی می‌کند
• از --disable-blink-features=AutomationControlled برای پنهان کردن نشانه‌های خودکار بودن استفاده کنید
• User-Agent را به یک واقعی تغییر دهید: chrome_options.add_argument('user-agent=Mozilla/5.0...')
• خطاها را از طریق try/except مدیریت کنید — توییتر/X اغلب ساختار صفحات را تغییر می‌دهد
• نتایج را در پایگاه داده (SQLite، PostgreSQL) یا فایل CSV ذخیره کنید

گرم کردن حساب‌های توییتر/X قبل از استخراج انبوه

اگر از حساب‌های جدید توییتر/X برای استخراج استفاده می‌کنید، نمی‌توانید بلافاصله شروع به جمع‌آوری انبوه داده‌ها کنید. پلتفرم "سن" حساب و فعالیت آن را ردیابی می‌کند — حساب‌های جدید با رفتار تهاجمی در اولویت مسدود می‌شوند.

برنامه گرم کردن حساب (7-14 روز)

روز 1-3: تنظیمات پایه و حداقل فعالیت

• پروفایل را پر کنید: آواتار، بیو، لینک به وب‌سایت (از داده‌های واقعی استفاده کنید، پروفایل را خالی نگذارید)
• به 5-10 حساب محبوب در حوزه خود دنبال کنید
• فید را 2-3 دقیقه مرور کنید، 2-3 لایک بزنید
• 1-2 ریتوییت انجام دهید
• در روز بیش از 10 اقدام انجام ندهید

روز 4-7: افزایش فعالیت

• به 10-15 حساب دیگر دنبال کنید
• 1-2 توییت خود را منتشر کنید (می‌توانید ساده باشد، مانند "سلام توییتر!")
• تعداد لایک‌ها را به 5-10 در روز افزایش دهید
• شروع به مشاهده پروفایل‌های دیگر کاربران کنید (5-10 پروفایل در روز)
• چند توییت را به نشانک اضافه کنید

روز 8-14: آماده‌سازی برای استخراج

• به 20-30 حساب دنبال کنید تا تعداد کل دنبال‌ها به 50-70 برسد
• هر 2-3 روز 1 توییت منتشر کنید
• 10-20 پروفایل در روز مشاهده کنید
• از جستجو بر اساس هشتگ‌ها استفاده کنید (اما هنوز استخراج نکنید — فقط جستجو کنید و بخوانید)
• در روز 12-14 می‌توانید استخراج سبک را شروع کنید: 20-30 پروفایل در روز با وقفه‌ها

نشانه‌های "گرم شده" بودن حساب

• سن حساب: حداقل 14 روز، بهتر است 30+ روز
• تعداد دنبال‌ها: 50-100 (نه خیلی زیاد، نه خیلی کم)
• تعداد دنبال‌کنندگان: 5-20 (حتی چند دنبال‌کننده واقعی اعتماد را افزایش می‌دهد)
• تاریخچه توییت‌ها: حداقل 5-10 انتشار
• لایک‌ها و ریتوییت‌ها: 20-50 اقدام در تاریخچه
• پروفایل پر شده: آواتار، بیو، ممکن است لینک

چک‌لیست اسکرپینگ ایمن: 12 قانون محافظت در برابر بن‌ها

همه توصیه‌ها را در یک چک‌لیست جمع‌آوری می‌کنیم که باید در حین استخراج توییتر/X رعایت شود: