Giám sát giá cả của đối thủ thông qua proxy: hướng dẫn cho người bán

Nếu bạn bán hàng trên các sàn thương mại điện tử và thay đổi giá thủ công mỗi tuần một lần, các đối thủ có giá được cập nhật mỗi giờ sẽ lấy đi doanh số của bạn. Hệ thống giám sát riêng sẽ giải quyết vấn đề này, nhưng các sàn thương mại điện tử và trang web của đối thủ thường xuyên cấm các bot, địa chỉ IP và toàn bộ dải địa chỉ của các trung tâm dữ liệu. Trong bài viết này, chúng ta sẽ xem xét một sơ đồ hoạt động để thu thập dữ liệu mà không bị chặn - với việc lựa chọn proxy, công cụ và tần suất yêu cầu đúng cách.

Tại sao cần có hệ thống giám sát đối thủ riêng

Các dịch vụ giám sát giá sẵn có (có hàng chục dịch vụ trên thị trường) có giá từ vài nghìn rúp mỗi tháng và thường giới hạn số lượng sản phẩm hoặc tần suất cập nhật dữ liệu. Nếu bạn có danh mục từ 500–5000 SKU và bán hàng đồng thời trên Wildberries, Ozon và Avito, việc đăng ký ba dịch vụ khác nhau sẽ tốn kém hơn so với hệ thống riêng của bạn, và vẫn không đủ linh hoạt: bạn không thể thiết lập logic tính toán giá tùy chỉnh hoặc thêm giám sát cho một trang web không tiêu chuẩn của đối thủ.

Hệ thống riêng mang lại ba lợi thế cụ thể. Thứ nhất, bạn kiểm soát tần suất thu thập - có thể kiểm tra giá của các đối thủ hàng đầu mỗi 15 phút, trong khi các đối thủ khác mỗi ngày một lần. Thứ hai, bạn thu thập không chỉ giá cả mà còn cả hàng tồn kho, xếp hạng, số lượng đánh giá, vị trí trong kết quả tìm kiếm - bất kỳ thông số nào quan trọng đối với doanh nghiệp của bạn. Thứ ba, dữ liệu vẫn thuộc về bạn: bạn có thể kết hợp chúng với phân tích nội bộ về biên lợi nhuận và tự động tính toán lại giá để không bị lỗ.

Những người bán hàng đã triển khai việc tính toán giá tự động dựa trên giám sát đối thủ thường tăng tỷ lệ mua lại trong top 10 của danh mục lên 15-25% nhờ vào việc giá phản ứng nhanh hơn với sự thay đổi của thị trường so với việc làm thủ công. Điều này đặc biệt quan trọng trong các danh mục có sự cạnh tranh cao - quần áo, điện tử, hàng hóa cho gia đình.

Tại sao các trang web và sàn thương mại điện tử cấm việc thu thập dữ liệu

Wildberries, Ozon và hầu hết các cửa hàng trực tuyến sử dụng các hệ thống chống bot, phân tích hành vi của các yêu cầu. Nếu từ một IP nhận được 200 yêu cầu mỗi phút mà không có khoảng dừng, không có tiêu đề trình duyệt đặc trưng và không thực hiện JavaScript - điều này ngay lập tức được đánh dấu là bot. Sau đó, hệ thống sẽ đưa ra captcha hoặc cung cấp dữ liệu sai (giá giả), hoặc cấm IP trong vài giờ.

Một vấn đề riêng biệt là các dải địa chỉ của trung tâm dữ liệu. Các địa chỉ IP thuộc về Amazon AWS, Google Cloud, DigitalOcean và các nhà cung cấp tương tự đã bị đưa vào danh sách đen của hầu hết các hệ thống chống bot trước khi bạn thực hiện yêu cầu đầu tiên. Các sàn thương mại điện tử thấy ASN (số hệ thống tự trị) của nhà cung cấp và chặn toàn bộ dải địa chỉ, ngay cả khi bạn chỉ gửi một yêu cầu mỗi giờ.

Chính vì vậy, proxy máy chủ cổ điển cho việc giám sát các sàn thương mại điện tử hoạt động kém: nó nhanh và rẻ, nhưng bị phát hiện ở cấp độ danh tiếng IP. Để vượt qua, cần những IP trông giống như người dùng thông thường - đó chính là ý tưởng chính của sơ đồ mà chúng ta sẽ xem xét tiếp theo.

Kiến trúc hệ thống: nó bao gồm những gì

Hệ thống giám sát đối thủ hoạt động bao gồm năm khối, và mỗi khối có thể được xây dựng mà không cần kỹ năng lập trình sâu - trên các công cụ no-code và low-code có sẵn.

Danh sách mục tiêu - bảng với các liên kết đến thẻ sản phẩm của đối thủ cần theo dõi. Thông thường đây là Google Sheets hoặc Excel với các cột: URL, sàn thương mại điện tử, SKU của bạn, tần suất kiểm tra mong muốn.
Bộ thu thập dữ liệu (scraper) - chương trình hoặc dịch vụ mở trang và lấy giá, hàng tồn kho, xếp hạng. Có thể là một trình phân tích no-code có sẵn hoặc một script trên Python.
Proxy layer - lớp trung gian mà tất cả các yêu cầu của scraper đi qua, để IP không bị cấm bởi sàn thương mại điện tử.
Kho dữ liệu - cơ sở dữ liệu hoặc bảng nơi lưu trữ kết quả của mỗi lần quét với dấu thời gian.
Logic phản ứng - quy tắc mà hệ thống thông báo cho bạn (qua Telegram, qua email) hoặc tự động thay đổi giá qua API của sàn thương mại điện tử.

Để bắt đầu, chỉ cần một liên kết: Google Sheets + trình phân tích no-code (ví dụ, dựa trên Make/Zapier hoặc các dịch vụ phân tích chuyên dụng) + proxy + bot Telegram để thông báo. Điều này có thể được xây dựng trong một ngày mà không cần viết mã. Đối với quy mô lớn hơn (nghìn SKU), sẽ cần một script trên Python với các thư viện requests/BeautifulSoup hoặc Selenium, chạy theo lịch trình trên máy chủ.

Nên chọn proxy nào cho việc giám sát

Việc chọn proxy là 70% thành công của toàn bộ hệ thống. Chúng ta sẽ xem xét ba loại và khi nào mỗi loại phù hợp.

Loại proxy	Khi nào sử dụng	Rủi ro bị cấm
Proxy của trung tâm dữ liệu	Các trang web đơn giản không có chống bot, giám sát tần suất thấp của các cửa hàng trực tuyến nhỏ	Cao trên các sàn thương mại điện tử, thấp trên các trang web thông thường
Proxy dân cư	Wildberries, Ozon, Avito - công cụ chính để giám sát các sàn thương mại điện tử	Thấp nếu quay vòng đúng cách
Proxy di động	Kiểm tra điểm thẻ với bảo vệ chống bot mạnh mẽ, vượt qua captcha khi kiểm tra thủ công	Tối thiểu, nhưng đắt hơn trong việc sử dụng

Đối với việc giám sát hàng ngàn thẻ trên Wildberries và Ozon hàng ngày, lựa chọn tối ưu là proxy dân cư, vì IP của chúng thuộc về các nhà cung cấp thực tế và không nằm trong danh sách đen của các trung tâm dữ liệu. Chúng đắt hơn proxy máy chủ, nhưng tiết kiệm thời gian trong việc vượt qua các lệnh cấm và captcha, điều này cuối cùng giảm chi phí sở hữu hệ thống.

Proxy di động nên được giữ trong dự phòng cho các tình huống khi ngay cả IP dân cư cũng nhận được captcha - ví dụ, khi giám sát một danh mục sản phẩm cụ thể có bảo vệ mạnh mẽ. Máy chủ của nhà mạng di động sử dụng CGNAT (IP chung cho hàng ngàn thuê bao), vì vậy việc cấm một IP như vậy ảnh hưởng đến người dùng thực và các sàn thương mại điện tử áp dụng nó rất cẩn thận.

Công cụ thu thập dữ liệu

Nếu bạn không phải là lập trình viên, có một số cách để xây dựng hệ thống mà không cần mã. Thứ nhất, các dịch vụ no-code cho việc phân tích và giám sát giá cho phép bạn chỉ định URL của thẻ và chọn bộ chọn CSS của phần tử với giá thông qua giao diện trực quan - chỉ cần nhấp chuột vào phần cần thiết trên trang. Thứ hai, bạn có thể sử dụng sự kết hợp giữa Google Sheets + tiện ích mở rộng cho trình duyệt, kiểm tra các trang theo lịch trình và ghi lại kết quả vào bảng.

Nếu trong đội ngũ có người có kỹ năng kỹ thuật cơ bản, hệ thống trên Python sẽ mang lại tối đa sự linh hoạt. Script tối thiểu trông như sau:

import requests
from bs4 import BeautifulSoup

proxies = {
    "http": "http://login:password@proxy_host:port",
    "https": "http://login:password@proxy_host:port",
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}

url = "https://example-shop.ru/product/12345"
response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
soup = BeautifulSoup(response.text, "html.parser")

price = soup.select_one(".product-price").get_text(strip=True)
print(f"Giá hiện tại: {price}")

Đối với các trang tải giá qua JavaScript (điều này đặc trưng cho Wildberries và Ozon), requests thông thường sẽ không hoạt động - cần một trình duyệt không giao diện dựa trên Selenium hoặc Playwright, cái mà sẽ render trang hoàn toàn, giống như một người dùng bình thường. Cách tiếp cận này chậm hơn, nhưng cung cấp dữ liệu chính xác ngay cả với nội dung động.

Cài đặt quay vòng và tần suất yêu cầu

Ngay cả với các proxy chất lượng, hệ thống có thể bị cấm nếu các yêu cầu được gửi quá thường xuyên và đồng nhất. Các thuật toán chống bot của các sàn thương mại điện tử không chỉ phân tích IP mà còn cả mẫu hành vi: khoảng thời gian giữa các yêu cầu, thứ tự truy cập các trang, sự lặp lại của các tiêu đề.

Các quy tắc quay vòng hiệu quả, giúp giảm rủi ro bị cấm:

Thay đổi IP cho mỗi yêu cầu hoặc mỗi 5-10 yêu cầu - hầu hết các nhà cung cấp proxy dân cư hỗ trợ quay vòng tự động theo thời gian hoặc theo yêu cầu.
Thêm độ trễ ngẫu nhiên giữa các yêu cầu từ 3 đến 15 giây thay vì khoảng thời gian cố định.
Luân phiên User-Agent từ danh sách các trình duyệt thực tế - không sử dụng cùng một tiêu đề cho hàng ngàn yêu cầu liên tiếp.
Phân phối tải theo thời gian trong ngày: không kiểm tra toàn bộ danh mục một lần vào lúc 00:00, hãy phân tán các kiểm tra trong vài giờ.
Sử dụng IP có vị trí địa lý phù hợp - nếu đối thủ bán hàng tại Nga, proxy phải có định vị địa lý Nga, nếu không giá cả và hàng tồn kho có thể khác với thực tế cho khu vực của bạn.

Để giám sát từ 1000-3000 thẻ mỗi ngày, một nhóm vài chục IP đồng thời với quay vòng mỗi 5-10 phút là đủ. Đối với quy mô lớn hơn (hàng chục nghìn kiểm tra), cần một nhà cung cấp với nhóm IP dân cư lớn và hỗ trợ quay vòng qua API, để tích hợp việc thay đổi IP ngay trong script thu thập dữ liệu.

Đặc điểm giám sát Wildberries, Ozon và Avito

Mỗi nền tảng có đặc điểm bảo vệ riêng, và sơ đồ cần được điều chỉnh cho phù hợp.

Wildberries cung cấp dữ liệu về giá cả và hàng tồn kho qua API nội bộ, có thể gọi trực tiếp, nhận phản hồi JSON mà không cần phân tích HTML. Điều này nhanh hơn và ổn định hơn so với việc render trang bằng trình duyệt, nhưng API này có giới hạn về tần suất yêu cầu từ một IP, vì vậy việc quay vòng proxy là bắt buộc khi giám sát hơn 50-100 sản phẩm mỗi giờ.

Ozon sử dụng mạnh mẽ việc render JavaScript và bảo vệ chống bot mạnh mẽ hơn, bao gồm việc kiểm tra hành vi chuột và tốc độ cuộn ở một số phần. Để giám sát ổn định Ozon thường yêu cầu một trình duyệt không giao diện với mô phỏng hành động thực tế của người dùng, chứ không chỉ là yêu cầu HTTP.

Avito theo dõi trước tiên tần suất yêu cầu từ một IP và các mẫu tìm kiếm quảng cáo. Để giám sát quảng cáo của đối thủ (ví dụ, theo dõi quảng cáo mới trong ngách của bạn hoặc thay đổi giá), rất quan trọng để giữ tần suất yêu cầu thấp - không thường xuyên hơn một yêu cầu cho mỗi quảng cáo mỗi 10-15 phút từ một IP, nếu không tài khoản hoặc IP sẽ bị cấm ẩn, trong đó cung cấp dữ liệu không chính xác mà không có lỗi rõ ràng.

Nhiều chuyên gia SMM và người làm tiếp thị liên kết cho các nhiệm vụ tương tự sử dụng các trình duyệt chống phát hiện như Dolphin Anty, AdsPower hoặc Multilogin - những công cụ này cũng phù hợp cho việc kiểm tra thủ công các thẻ của đối thủ, nếu việc thu thập tự động cho thấy dữ liệu nghi ngờ và cần kiểm tra thủ công qua một hồ sơ riêng với proxy đã liên kết.

Lưu trữ dữ liệu và bảng điều khiển

Dữ liệu thu thập được sẽ vô dụng nếu không có cách thuận tiện để phân tích chúng. Đối với các danh mục nhỏ (dưới 500 SKU), Google Sheets với lịch sử giá theo ngày và định dạng có điều kiện, làm nổi bật sự thay đổi giá của đối thủ bằng màu đỏ hoặc xanh lá cây là đủ. Đối với khối lượng lớn hơn, cần một cơ sở dữ liệu - PostgreSQL hoặc thậm chí SQLite sẽ phù hợp, nếu hệ thống hoạt động trên một máy chủ.

Dựa trên dữ liệu thu thập được, có thể dễ dàng xây dựng các bảng điều khiển đơn giản trong Google Data Studio (Looker Studio) hoặc Power BI, nơi có thể thấy: động thái giá của đối thủ trong 30 ngày qua, sự khác biệt về giá so với vị trí của bạn, tần suất thay đổi giá của mỗi đối thủ. Việc trực quan hóa này giúp nhận thấy các mẫu - ví dụ, đối thủ thay đổi giá mỗi sáng thứ Hai, và bạn có thể điều chỉnh chiến lược của mình theo chu kỳ này.

Quan trọng là lưu trữ không chỉ giá hiện tại mà còn toàn bộ lịch sử thay đổi với các dấu thời gian. Điều này cho phép phân tích tính mùa vụ sau này, phát hiện việc giảm giá trước các đợt giảm giá và dự đoán hành vi của các đối thủ trong các giai đoạn tương tự tiếp theo (ví dụ, trước ngày 11.11 hoặc Black Friday).

Những lỗi thường gặp khi xây dựng hệ thống

Trên thực tế, hầu hết các hệ thống giám sát tự chế gặp sự cố do một số lỗi điển hình mà dễ dàng tránh được từ trước.

Chỉ sử dụng một IP cho toàn bộ việc giám sát. Ngay cả proxy chất lượng cũng sẽ bị cấm sớm hay muộn nếu có hàng ngàn yêu cầu mà không quay vòng.
Bỏ qua tiêu đề trình duyệt. Yêu cầu không có User-Agent hoặc với tiêu đề lỗi thời - đây là tín hiệu ngay lập tức cho hệ thống chống bot.
Tần suất kiểm tra quá cao. Giám sát mỗi phút chỉ có ý nghĩa cho 5-10 đối thủ chính, đối với phần còn lại của danh mục, kiểm tra mỗi vài giờ là đủ.
Thiếu xử lý lỗi. Nếu trang web trả về captcha hoặc tạm thời không khả dụng, hệ thống phải nhận diện điều này và thử lại sau, thay vì ghi vào cơ sở dữ liệu giá trị trống hoặc sai như giá hiện tại.
Proxy của trung tâm dữ liệu cho các sàn thương mại điện tử. Tiết kiệm chi phí cho loại proxy dẫn đến việc bị cấm liên tục và cần phải thay đổi IP bằng tay mỗi ngày - cuối cùng, hệ thống yêu cầu nhiều công việc thủ công hơn mức cần thiết.

Kết luận

Hệ thống giám sát đối thủ riêng trên các sàn thương mại điện tử không chỉ là một thiết lập một lần, mà là một công cụ làm việc cần có kiến trúc đúng đắn: danh sách mục tiêu, scraper, proxy layer, kho dữ liệu và logic phản ứng với sự thay đổi. Liên kết chính quyết định sự ổn định của toàn bộ sơ đồ là proxy. Các IP máy chủ nhanh chóng bị cấm bởi các hệ thống chống bot của Wildberries và Ozon, vì vậy để giám sát thường xuyên các sàn thương mại điện tử, bạn nên dự trù ngân sách cho các IP chất lượng với quay vòng.

Nếu bạn dự định giám sát giá cả của đối thủ trên Wildberries, Ozon hoặc Avito, hãy bắt đầu với proxy dân cư - chúng đảm bảo độ tin cậy cao của dữ liệu thu thập được và rủi ro bị cấm tối thiểu khi quay vòng hợp lý. Đối với các kiểm tra điểm cho các thẻ được bảo vệ nhất, hãy giữ trong dự phòng proxy di động, và cho các nhiệm vụ phụ trên các trang web ít bảo vệ hơn, các proxy của trung tâm dữ liệu giá rẻ hơn cũng sẽ phù hợp.