Cách tránh bị chặn khi gửi yêu cầu thường xuyên đến API Wildberries, Ozon và Avito

Nếu bạn đang theo dõi giá cả của đối thủ, phân tích tồn kho sản phẩm hoặc tự động đăng quảng cáo trên các chợ trực tuyến — bạn chắc chắn đã gặp phải các khối. API của Wildberries, Ozon, Yandex.Market và Avito đang được bảo vệ mạnh mẽ khỏi tự động hóa: giới hạn số lượng yêu cầu, chặn địa chỉ IP và yêu cầu captcha. Trong hướng dẫn này, chúng ta sẽ phân tích lý do tại sao xảy ra các khối và cách cấu hình trình phân tích để làm việc ổn định trong nhiều tháng mà không bị cấm.

Tại sao các chợ trực tuyến chặn các yêu cầu thường xuyên đến API

Các chợ trực tuyến chi tiêu rất nhiều tiền cho việc duy trì cơ sở hạ tầng — máy chủ, cơ sở dữ liệu, CDN. Khi bạn thực hiện hàng ngàn yêu cầu mỗi phút để phân tích giá cả, bạn tạo ra một tải thêm cho hệ thống của họ. Nhưng lý do chính của các khối không phải là kỹ thuật mà là định hướng kinh doanh.

Các lý do chính của các khối:

• Bảo vệ dữ liệu cạnh tranh. Wildberries và Ozon không muốn đối thủ dễ dàng nhận được thông tin về giá cả, tồn kho và sản phẩm phổ biến. Những dữ liệu này là bí mật thương mại.
• Giảm tải cho máy chủ. Một trình phân tích có thể tạo ra nhiều yêu cầu như 10.000 người mua hàng thông thường. Điều này làm tăng chi phí cho việc lưu trữ.
• Đấu tranh với việc tăng cường và spam. Các hệ thống tự động được sử dụng để tăng cường lượt xem, đánh giá, đăng quảng cáo hàng loạt trên Avito.
• Kiếm tiền từ API. Một số chợ trực tuyến cung cấp API trả phí chính thức với giới hạn. Bằng cách chặn việc phân tích miễn phí, họ khuyến khích việc mua quyền truy cập.

Ví dụ, nếu bạn theo dõi giá của 5.000 sản phẩm mỗi giờ — đó là 120.000 yêu cầu mỗi ngày. Từ một địa chỉ IP, điều này trông đáng ngờ, và hệ thống bảo vệ của chợ trực tuyến sẽ nhanh chóng chặn quyền truy cập của bạn.

Các phương pháp bảo vệ mà Wildberries, Ozon và Avito sử dụng

Các chợ trực tuyến hiện đại sử dụng bảo vệ đa tầng chống lại việc phân tích. Hiểu biết về các cơ chế này sẽ giúp cấu hình đúng cách để vượt qua các khối.

Wildberries sử dụng bảo vệ mạnh mẽ: giới hạn khoảng 200-300 yêu cầu mỗi giờ từ một IP, kiểm tra User-Agent và các thử thách JavaScript. Khi vượt quá giới hạn, bạn sẽ nhận được HTTP 429 (Quá nhiều yêu cầu) hoặc 403 (Cấm).

Ozon thân thiện hơn với việc phân tích qua API, nhưng thường xuyên chặn các IP từ trung tâm dữ liệu. Họ sử dụng các dịch vụ xác định loại IP (DataCenter vs Residential), vì vậy các proxy thông thường thường không hoạt động.

Avito bảo vệ API khỏi việc đăng quảng cáo hàng loạt và phân tích thông tin liên lạc. Ở đây, sự liên kết địa lý rất quan trọng: nếu bạn đăng quảng cáo ở Kazan, IP phải đến từ Kazan, nếu không, việc kiểm duyệt sẽ chặn việc xuất bản.

Giới hạn tỷ lệ: cách cấu hình độ trễ giữa các yêu cầu đúng cách

Giới hạn tỷ lệ — là giới hạn nhân tạo về tốc độ yêu cầu, để hoạt động của bạn trông giống như hành động của một người dùng thông thường. Quy tắc chính: tốt hơn là chậm nhưng ổn định, hơn là nhanh và bị cấm.

Các cấu hình được khuyến nghị cho các chợ trực tuyến phổ biến:

Cách thực hiện độ trễ ngẫu nhiên: Không sử dụng các khoảng thời gian cố định như "đúng 3 giây" — điều này trông giống như bot. Thêm sự ngẫu nhiên: từ 2 đến 5 giây. Hầu hết các trình phân tích hỗ trợ điều này qua các cài đặt.

Ví dụ, trong Python với thư viện requests, nó trông như thế này:

import time
import random
import requests

def make_request(url, proxies):
    response = requests.get(url, proxies=proxies)
    # Độ trễ ngẫu nhiên từ 2 đến 5 giây
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)
    return response

# Ví dụ sử dụng
proxy = {
    'http': 'http://username:password@proxy.example.com:8000',
    'https': 'http://username:password@proxy.example.com:8000'
}

for product_id in product_list:
    url = f'https://card.wb.ru/cards/detail?nm={product_id}'
    response = make_request(url, proxy)
    # Xử lý dữ liệu...

Điểm quan trọng: Sau mỗi 100-200 yêu cầu, hãy nghỉ dài (10-20 phút) hoặc thay đổi IP. Điều này mô phỏng hành vi của một người, người đang xem sản phẩm, sau đó bị phân tâm bởi các công việc khác.

Xoay vòng proxy để phân phối tải

Ngay cả với các độ trễ đúng cách, một IP sẽ không chịu được tải lâu dài. Giải pháp là xoay vòng proxy: phân phối các yêu cầu giữa nhiều địa chỉ IP. Đây là nền tảng cho việc phân tích ổn định trên các chợ trực tuyến.

Các loại proxy cho việc phân tích các chợ trực tuyến:

Để phân tích Wildberries và Ozon, chúng tôi khuyên bạn nên sử dụng proxy cư trú — chúng có IP của người dùng gia đình thực tế, vì vậy các chợ trực tuyến không thể phân biệt chúng với người mua hàng thông thường. Proxy từ trung tâm dữ liệu hoạt động kém ở đây: Ozon và Wildberries có danh sách đen các IP như vậy.

Các chiến lược xoay vòng proxy:

• Xoay vòng sau N yêu cầu. Thay đổi IP sau mỗi 100-300 yêu cầu. Đây là sự cân bằng tối ưu giữa hiệu quả và an toàn.
• Xoay vòng theo thời gian. Thay đổi IP mỗi 30-60 phút. Phù hợp cho các phiên phân tích dài.
• Phiên dính. Sử dụng một IP cho tất cả các yêu cầu đến một sản phẩm/danh mục, sau đó thay đổi. Điều này giảm sự nghi ngờ.
• Liên kết địa lý. Đối với Avito là bắt buộc: phân tích quảng cáo ở Moscow qua các IP của Moscow, Kazan — qua các IP của Kazan.

Hầu hết các nhà cung cấp proxy cư trú cung cấp xoay vòng tự động: bạn nhận được một endpoint, và IP thay đổi tự động với tần suất đã định hoặc sau mỗi yêu cầu. Điều này đơn giản hóa việc cấu hình trình phân tích.

Ví dụ về cấu hình nhóm proxy trong Python:

import requests
import random

# Danh sách proxy (có thể tải từ tệp)
proxy_list = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    'http://user:pass@proxy3.example.com:8000',
    # ... thêm 50-100 proxy
]

def get_random_proxy():
    proxy = random.choice(proxy_list)
    return {
        'http': proxy,
        'https': proxy
    }

# Sử dụng
for product_id in product_list:
    proxy = get_random_proxy()  # Proxy ngẫu nhiên cho mỗi yêu cầu
    response = requests.get(url, proxies=proxy)
    # Xử lý...

Cấu hình tiêu đề và fingerprint để mô phỏng trình duyệt

Các chợ trực tuyến phân tích không chỉ IP và tần suất yêu cầu, mà còn cả các tiêu đề HTTP. Nếu trình phân tích của bạn gửi yêu cầu với các tiêu đề mặc định của thư viện (ví dụ: python-requests/2.28.0), nó sẽ ngay lập tức được xác định là bot.

Các tiêu đề bắt buộc để mô phỏng trình duyệt:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Cache-Control': 'max-age=0',
    'Referer': 'https://www.google.com/'
}

Các điểm quan trọng:

• User-Agent phải tương ứng với trình duyệt thực tế. Sử dụng các phiên bản hiện tại của Chrome, Firefox, Safari. Thay đổi User-Agent sau mỗi 100-200 yêu cầu.
• Accept-Language phải tương ứng với địa lý của proxy. Nếu sử dụng IP của Nga — đặt ru-RU, cho IP của Ukraine — uk-UA.
• Referer cho thấy người dùng đến từ đâu. Đối với yêu cầu đầu tiên, sử dụng Google/Yandex, cho các yêu cầu tiếp theo — các trang nội bộ của chợ trực tuyến.
• Các tiêu đề Sec-Fetch-* thêm tính thực tế. Các trình duyệt hiện đại gửi chúng tự động.

TLS Fingerprinting: Các hệ thống bảo vệ tiên tiến (Ozon, Wildberries) phân tích các tham số của kết nối TLS: thứ tự cipher suites, mở rộng, phiên bản giao thức. Các thư viện tiêu chuẩn Python/Node.js có fingerprint khác với các trình duyệt.

Giải pháp là sử dụng các thư viện chuyên dụng:

• curl-impersonate (Python) — mô phỏng TLS fingerprint của Chrome/Firefox
• tls-client (Go, Python bindings) — TLS fingerprint có thể cấu hình
• Playwright / Puppeteer — trình duyệt headless với TLS thực sự

Đối với hầu hết các nhiệm vụ phân tích các chợ trực tuyến, các tiêu đề HTTP đúng và proxy cư trú là đủ. TLS fingerprinting chỉ quan trọng khi làm việc với các API được bảo vệ nhất.

API vs web scraping: cái nào an toàn hơn cho việc phân tích

Các chợ trực tuyến có hai cách để lấy dữ liệu: API chính thức và phân tích các trang HTML (web scraping). Cái nào nên chọn cho công việc ổn định?

Khuyến nghị về lựa chọn:

• Sử dụng API chính thức nếu: Bạn cần một lượng dữ liệu nhỏ (đến 10.000 sản phẩm mỗi ngày), bạn sẵn sàng trả tiền cho quyền truy cập, tính hợp pháp và độ ổn định là quan trọng.
• Sử dụng web scraping nếu: Cần một lượng dữ liệu lớn, API chính thức không cung cấp thông tin cần thiết (ví dụ: giá của đối thủ), ngân sách hạn chế.

Cách tiếp cận kết hợp: Nhiều trình phân tích chuyên nghiệp kết hợp cả hai phương pháp. Ví dụ, lấy danh sách sản phẩm qua API (nhanh chóng và hợp pháp), và thông tin chi tiết về giá cả và tồn kho phân tích từ các trang HTML (nhiều dữ liệu hơn).

API nội bộ của các chợ trực tuyến: Ngoài API chính thức, các chợ trực tuyến sử dụng API nội bộ cho hoạt động của trang web. Ví dụ, Wildberries tải dữ liệu sản phẩm qua https://card.wb.ru/cards/detail. Các endpoint này không được tài liệu hóa, nhưng hoạt động nhanh hơn việc phân tích HTML. Nhược điểm — có thể thay đổi mà không có thông báo.

Cấu hình các trình phân tích và công cụ phổ biến

Hầu hết các người bán và nhà tiếp thị sử dụng các công cụ sẵn có để phân tích các chợ trực tuyến. Hãy xem cách cấu hình đúng proxy và giới hạn trong các giải pháp phổ biến.

Cấu hình Scrapy (framework Python)

Scrapy — framework phổ biến cho web scraping. Để làm việc với các chợ trực tuyến, hãy thêm vào settings.py:

# Độ trễ giữa các yêu cầu
DOWNLOAD_DELAY = 3  # 3 giây
RANDOMIZE_DOWNLOAD_DELAY = True  # Ngẫu nhiên hóa từ 0.5*DELAY đến 1.5*DELAY

# Giới hạn yêu cầu đồng thời
CONCURRENT_REQUESTS = 8
CONCURRENT_REQUESTS_PER_DOMAIN = 2

# Cấu hình proxy (qua middleware rotating-proxies)
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.example.com:8000',
    'http://user:pass@proxy2.example.com:8000',
    # ... danh sách proxy
]

# Xoay vòng User-Agent
USER_AGENT_LIST = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/537.36',
    # ... danh sách User-Agent
]

# Thử lại khi có lỗi
RETRY_TIMES = 3
RETRY_HTTP_CODES = [429, 500, 502, 503, 504]

Cấu hình Octoparse (trình phân tích trực quan không cần mã)

Octoparse — công cụ phổ biến cho việc phân tích mà không cần lập trình. Cấu hình proxy và giới hạn:

1. Mở Task Settings → Advanced Options
2. Trong phần "Network", bật "Use Proxy Server"
3. Thêm danh sách proxy theo định dạng IP:PORT:USER:PASS
4. Bật "Rotate IP for each request" để tự động xoay vòng
5. Trong phần "Speed", đặt "Slow" hoặc "Custom" với độ trễ 3-5 giây
6. Bật "Random delay" để mô phỏng hành vi của con người

Cấu hình Selenium (tự động hóa trình duyệt)

Selenium điều khiển một trình duyệt thực, vì vậy nó vượt qua nhiều bảo vệ. Ví dụ về cấu hình với proxy:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import random

# Cấu hình Chrome với proxy
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://user:pass@proxy.example.com:8000')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=chrome_options)

# Ẩn WebDriver
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# Phân tích với độ trễ
urls = ['https://www.wildberries.ru/catalog/...', ...]

for url in urls:
    driver.get(url)
    # Độ trễ ngẫu nhiên 3-7 giây
    time.sleep(random.uniform(3, 7))
    
    # Cuộn để mô phỏng việc đọc
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);")
    time.sleep(random.uniform(1, 3))
    
    # Phân tích dữ liệu
    # ...

Các dịch vụ phân tích chợ trực tuyến sẵn có

Nếu bạn không muốn tự cấu hình trình phân tích, hãy sử dụng các dịch vụ chuyên dụng:

• Mpstats.io — phân tích Wildberries và Ozon, giám sát tự động giá cả và doanh số
• SellerFox — giám sát đối thủ trên các chợ trực tuyến, theo dõi tồn kho
• Moneyplace — phân tích Avito, tự động đăng quảng cáo
• Parsehub — trình phân tích trực quan cho bất kỳ trang web nào, bao gồm cả các chợ trực tuyến

Những dịch vụ này đã cấu hình proxy, giới hạn và vượt qua các bảo vệ — bạn chỉ cần chỉ định những gì cần phân tích. Nhược điểm — đăng ký hàng tháng từ 2000₽.

Giám sát các khối và phản ứng tự động

Ngay cả với các cấu hình đúng, các khối vẫn có thể xảy ra: các chợ trực tuyến cập nhật bảo vệ, proxy bị đưa vào danh sách cấm, giới hạn thay đổi. Quan trọng là theo dõi các vấn đề và phản ứng tự động.

Các dấu hiệu khối cần theo dõi:

• HTTP 429 (Quá nhiều yêu cầu) — vượt quá giới hạn yêu cầu, cần nghỉ hoặc thay đổi IP
• HTTP 403 (Cấm) — IP bị chặn, cần xoay vòng proxy ngay lập tức
• HTTP 503 (Dịch vụ không khả dụng) — quá tải tạm thời hoặc bảo vệ khỏi DDoS
• Captcha trong phản hồi — phát hiện tự động hóa, cần giảm hoạt động
• Phản hồi trống hoặc chuyển hướng về trang chính — khối mềm
• Tăng đột ngột thời gian phản hồi — có thể là giới hạn tỷ lệ ở phía máy chủ

Phản ứng tự động với các khối (ví dụ bằng Python):

import requests
import time
from datetime import datetime

class SmartParser:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
        self.current_proxy_index = 0
        self.request_count = 0
        self.blocked_proxies = set()
        
    def get_next_proxy(self):
        # Bỏ qua các proxy bị chặn
        while self.current_proxy_index in self.blocked_proxies:
            self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        
        proxy = self.proxy_list[self.current_proxy_index]
        return {'http': proxy, 'https': proxy}
    
    def rotate_proxy(self):
        self.current_proxy_index = (self.current_proxy_index + 1) % len(self.proxy_list)
        self.request_count = 0
        
    def make_request(self, url):
        max_retries = 3
        
        for attempt in range(max_retries):
            try:
                proxy = self.get_next_proxy()
                response = requests.get(url, proxies=proxy, timeout=10)
                
                # Kiểm tra khối
                if response.status_code == 429:
                    print(f"[{datetime.now()}] Giới hạn tỷ lệ! Nghỉ 60 giây...")
                    time.sleep(60)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 403:
                    print(f"[{datetime.now()}] IP bị chặn! Xoay vòng proxy...")
                    self.blocked_proxies.add(self.current_proxy_index)
                    self.rotate_proxy()
                    continue
                    
                elif response.status_code == 503:
                    print(f"[{datetime.now()}] Máy chủ quá tải. Nghỉ 120 giây...")
                    time.sleep(120)
                    continue
                
                # Yêu cầu thành công
                self.request_count += 1
                
                # Xoay vòng sau 200 yêu cầu
                if self.request_count >= 200:
                    self.rotate_proxy()
                    time.sleep(10)  # Nghỉ sau khi xoay vòng
                
                return response
                
            except requests.exceptions.Timeout:
                print(f"[{datetime.now()}] Thời gian chờ. Cố gắng {attempt + 1}/{max_retries}")
                time.sleep(5)
                
        return None  # Tất cả các cố gắng đã cạn kiệt

Ghi lại và cảnh báo: Cấu hình thông báo khi có sự kiện nghiêm trọng. Ví dụ, gửi tin nhắn đến Telegram khi:

• Hơn 30% proxy trong nhóm bị chặn
• Tỷ lệ yêu cầu thành công giảm xuống dưới 80%
• Trình phân tích không nhận được dữ liệu trong hơn 30 phút
• Phát hiện captcha trong các phản hồi

Các chỉ số để giám sát:

Sử dụng bảng điều khiển để trực quan hóa các chỉ số: Grafana, Datadog hoặc các Google Sheets đơn giản với cập nhật tự động qua API.

Kết luận

Các khối khi phân tích các chợ trực tuyến không phải là một trở ngại, mà là một nhiệm vụ có thể giải quyết bằng cách cấu hình đúng các công cụ. Các điểm chính để làm việc ổn định mà không bị cấm:

• Sử dụng proxy cư trú cho Wildberries, Ozon và Avito — proxy từ trung tâm dữ liệu không hoạt động ở đây
• Cấu hình độ trễ ngẫu nhiên từ 2-5 giây giữa các yêu cầu
• Xoay vòng IP sau mỗi 150-300 yêu cầu hoặc mỗi 30-60 phút
• Sử dụng các tiêu đề HTTP thực tế với User-Agent hiện tại
• Giám sát các khối và phản ứng tự động với chúng
• Đối với Avito, việc liên kết địa lý của IP với thành phố quảng cáo là bắt buộc

Một trình phân tích được cấu hình đúng với proxy chất lượng có thể hoạt động trong nhiều tháng mà không bị chặn, thu thập hàng chục ngàn sản phẩm mỗi ngày. Điều quan trọng là không chạy theo tốc độ, mà mô phỏng hành vi của người dùng thông thường.

Nếu bạn dự định thường xuyên phân tích Wildberries, Ozon hoặc Avito, chúng tôi khuyên bạn nên sử dụng proxy cư trú với xoay vòng tự động — chúng đảm bảo độ ổn định tối đa và rủi ro bị chặn tối thiểu. Đối với các nhiệm vụ yêu cầu IP di động (ví dụ: vượt qua các khối cứng của Avito), các proxy di động với IP của các nhà mạng Nga sẽ phù hợp.