Nếu bạn đang chạy các actor trên Apify để thu thập dữ liệu từ Wildberries, Ozon, Amazon hoặc Google Maps, sớm hay muộn bạn sẽ phải đối mặt với câu hỏi: trả tiền cho Apify Proxy tích hợp hay kết nối một pool địa chỉ IP riêng. Ở quy mô lớn, sự khác biệt về chi phí có thể lên đến hàng chục nghìn rúp mỗi tháng. Trong bài viết này, chúng ta sẽ phân tích cách tính giá lưu lượng truy cập trong Apify, khi nào proxy riêng có lợi hơn, và cách kết nối nó với actor về mặt kỹ thuật — kèm theo ví dụ mã.
Apify-actors là gì và tại sao họ cần proxy
Apify là một nền tảng để chạy các scraper (actor) đã hoàn thiện mà không cần thiết lập cơ sở hạ tầng riêng. Trong Apify Store có hàng trăm actor đã hoàn thiện: các parser Amazon, Google Maps Scraper, Instagram Scraper, các actor để thu thập thông tin sản phẩm từ Wildberries và Ozon. Hầu hết trong số đó cần proxy, vì các trang web mục tiêu nhanh chóng chặn địa chỉ IP của các trung tâm dữ liệu Apify khi có yêu cầu lớn.
Proxy trong actor giải quyết ba vấn đề: vượt qua các hạn chế địa lý (ví dụ, cần thu thập giá cho khu vực "Moscow" trên Wildberries), giảm tần suất captcha và các lệnh cấm tạm thời, cũng như phân phối tải giữa nhiều IP, mô phỏng hành vi của người dùng thông thường, không phải bot. Nếu không có proxy, hầu hết các actor để thu thập dữ liệu từ các marketplace sẽ không khởi động được hoặc sẽ thu thập dữ liệu với lỗi chỉ sau vài phút hoạt động.
Apify có một giải pháp tích hợp — Apify Proxy, có thể kết nối bằng một dòng mã. Điều này rất tiện lợi để bắt đầu, nhưng có một điểm cần lưu ý: thanh toán dựa trên lưu lượng theo GB, và khi thu thập dữ liệu thường xuyên hoặc quy mô lớn, hóa đơn sẽ nhanh chóng tăng lên. Chính vì vậy, những người dùng có kinh nghiệm trên nền tảng ngày càng kết nối các proxy riêng với các actor thay vì sử dụng proxy tích hợp.
Cách hoạt động của Apify Proxy tích hợp và cách tính phí
Apify Proxy cung cấp ba loại IP: IP từ trung tâm dữ liệu, IP cư trú (thông qua các pool đối tác) và
proxy Google SERP để thu thập dữ liệu tìm kiếm. Kết nối rất đơn giản — chỉ cần
chỉ định tham số useApifyProxy: true
trong cấu hình của actor, và nền tảng sẽ tự động xoay vòng IP cho mỗi yêu cầu hoặc phiên.
Vấn đề nằm ở mô hình thanh toán: lưu lượng của các proxy cư trú trong Apify được tính phí theo gigabyte, và giá cho mỗi GB của giải pháp tích hợp thường cao hơn so với các nhà cung cấp proxy trực tiếp, vì Apify thêm phí cho việc tích hợp và quản lý pool. Đối với các khởi động thử nghiệm nhỏ (vài nghìn yêu cầu mỗi tháng) điều này không nghiêm trọng. Nhưng nếu actor hoạt động trong chế độ giám sát — ví dụ, thu thập giá trên Wildberries mỗi giờ cho 5000 SKU — mức tiêu thụ lưu lượng tăng theo cấp số nhân, và proxy tích hợp trở thành khoản chi phí đắt đỏ nhất trong ngân sách dự án, vượt qua cả chi phí của gói Apify.
Một điểm bổ sung: pool tích hợp của Apify là chung cho tất cả khách hàng của nền tảng. Điều này có nghĩa là các địa chỉ IP có thể đã bị "lộ" bởi những người dùng khác, những người đang thu thập dữ liệu từ cùng các trang web. Điều này làm tăng nguy cơ gặp captcha và bị chặn, đặc biệt là trên các marketplace có bảo vệ chống bot nghiêm ngặt, như Ozon và Avito.
Khi nào pool proxy riêng rẻ hơn: tính toán bằng số liệu
Để hiểu khi nào việc chuyển sang proxy riêng là hợp lý, cần so sánh hai biến: chi phí lưu lượng của Apify Proxy và chi phí cho cùng một khối lượng từ nhà cung cấp proxy trực tiếp, cộng với thời gian cần thiết để tích hợp và duy trì pool riêng.
Thực tiễn cho thấy ba kịch bản:
- Thu thập dữ liệu một lần (dưới 1 GB lưu lượng mỗi tháng) — Apify Proxy tích hợp có lợi hơn: không có lý do gì để tốn thời gian thiết lập pool của riêng mình chỉ để thu thập dữ liệu một lần nhỏ.
- Giám sát định kỳ (5–50 GB mỗi tháng) — điểm chuyển giao. Tại đây, cần phải tính toán: nếu actor hoạt động hàng ngày và thu thập thông tin sản phẩm từ Wildberries hoặc Ozon, mức tiêu thụ lưu lượng khi sử dụng proxy tích hợp tăng nhanh hơn so với pool riêng với chi phí cố định cho mỗi IP hoặc gói không giới hạn.
- Thu thập dữ liệu công nghiệp (trên 50 GB mỗi tháng, hàng chục actor, nhiều nguồn) — pool riêng gần như luôn rẻ hơn, vì có khả năng thương lượng về giá trực tiếp cho lưu lượng hoặc số lượng IP, mà không có phí trung gian từ nền tảng.
Một ví dụ đơn giản về tính toán: nếu actor xử lý 10.000 thẻ sản phẩm mỗi ngày, và mỗi trang có trọng lượng trung bình 300 KB bao gồm hình ảnh và script (không tối ưu hóa tải tài nguyên), trong một tháng sẽ tiêu tốn khoảng 90 GB lưu lượng. Với mức phí Apify Proxy cho lưu lượng cư trú, tổng số tiền thường vượt quá chi phí cho cùng một khối lượng từ nhà cung cấp proxy bên ngoài từ một đến hai lần. Nếu actor được cấu hình để chặn tải hình ảnh và các script bên ngoài (điều này dễ dàng thực hiện thông qua cấu hình Puppeteer/Playwright), trọng lượng thực tế của lưu lượng giảm đáng kể, và tiết kiệm từ việc chuyển sang proxy riêng trở nên rõ ràng hơn.
Loại proxy nào nên kết nối với các actor
Việc lựa chọn loại proxy phụ thuộc trực tiếp vào trang web nào actor đang thu thập dữ liệu và mức độ nhạy cảm của nó với lưu lượng bot.
| Loại proxy | Khi nào sử dụng trong Apify | Rủi ro bị chặn |
|---|---|---|
| Proxy từ trung tâm dữ liệu | Thu thập dữ liệu từ các trang web không có bảo vệ chống bot nghiêm ngặt, các nguồn tương tự API, danh mục tĩnh | Cao trên các marketplace có bảo vệ |
| Proxy cư trú | Wildberries, Ozon, Amazon, Google Maps Scraper — các trang web phát hiện IP từ trung tâm dữ liệu | Thấp nếu xoay vòng đúng cách |
| Proxy di động | Thu thập dữ liệu từ mạng xã hội (Instagram, TikTok) thông qua các Apify-actor, nơi cần "sạch" IP tối đa | Tối thiểu |
Để thu thập dữ liệu từ các marketplace như Wildberries và Ozon, lựa chọn tối ưu là proxy cư trú, vì chúng sử dụng các IP thực tế từ các nhà cung cấp gia đình và hiếm khi bị lọt vào các bộ lọc chống bot nghiêm ngặt. Đối với các nguồn ít bảo vệ hơn (RSS, danh mục mở, trang web doanh nghiệp) thì IP từ trung tâm dữ liệu là đủ — chúng rẻ hơn và nhanh hơn.
Cách kết nối proxy riêng với actor: mã và cấu hình
Hầu hết các actor trên Apify được xây dựng trên Crawlee (trước đây là Apify SDK) và hỗ trợ việc truyền
danh sách proxy riêng thông qua tham số proxyConfiguration.
Thay vì sử dụng pool tích hợp, bạn chỉ cần chỉ định mảng các địa chỉ proxy của mình.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Truyền danh sách proxy riêng thay vì useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Đã thu thập trang: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Nếu pool proxy của bạn hỗ trợ xoay vòng ở phía nhà cung cấp (đó là cách mà hầu hết các dịch vụ cư trú hoạt động, bao gồm các pool với xoay vòng theo phiên hoặc theo yêu cầu), chỉ cần chỉ định một endpoint với các tham số phiên trong URL — thì việc xoay vòng IP sẽ diễn ra tự động mà không cần phải liệt kê hàng trăm địa chỉ một cách thủ công.
Đối với các actor trên Python (ví dụ, nếu bạn chạy một script tùy chỉnh thông qua Apify SDK cho Python), việc kết nối trông giống như sau:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Một điểm quan trọng: khi chuyển sang proxy riêng, hãy chắc chắn thiết lập xoay vòng phiên và độ trễ giữa các yêu cầu một cách thủ công — Apify Proxy tích hợp thực hiện điều này tự động, trong khi khi kết nối với pool bên ngoài, logic cần được viết trong mã của actor hoặc trong cấu hình của crawler.
Bảng so sánh: proxy tích hợp vs proxy riêng
| Tiêu chí | Apify Proxy (tích hợp) | Pool proxy riêng |
|---|---|---|
| Tốc độ kết nối | Một dòng mã, không cần cấu hình | Cần 15-30 phút để tích hợp |
| Chi phí ở quy mô nhỏ | Có lợi hơn | Thừa cho các khởi động hiếm hoi |
| Chi phí từ 10-50 GB/tháng | Tăng theo tỷ lệ với lưu lượng | Có lợi hơn, thường là mô hình cố định |
| "Sạch" của pool IP | Pool chung, có thể có sự giao thoa với các khách hàng khác | Pool riêng hoặc xoay vòng cho các nhiệm vụ của bạn |
| Linh hoạt trong geo-targeting | Tập hợp hạn chế các quốc gia/khu vực | Lựa chọn thành phố/khu vực cụ thể cho marketplace |
| Kiểm soát việc xoay vòng | Tự động, không cần cấu hình | Cần cấu hình thủ công theo mẫu cần thiết |
Trường hợp: thu thập dữ liệu từ các marketplace trong thực tế
Theo dõi giá trên Wildberries. Các seller theo dõi giá của đối thủ từ 3000-10000 SKU nhiều lần trong ngày, thường bắt đầu với Apify Proxy tích hợp, nhưng sau tháng đầu tiên với hóa đơn lớn cho lưu lượng, họ chuyển sang proxy cư trú với gắn bó với khu vực. Điều này không chỉ giúp giảm chi phí mà còn cho phép họ thấy giá theo cách mà người mua từ một thành phố cụ thể nhìn thấy — điều này rất quan trọng, vì Wildberries hiển thị các giá khác nhau tùy thuộc vào kho hàng và khu vực giao hàng.
Thu thập thông tin sản phẩm trên Ozon. Ozon sử dụng phân tích hành vi và nhanh chóng chặn IP khi có các mẫu yêu cầu đồng nhất. Actor hoạt động thông qua pool chung của Apify Proxy thường gặp phải captcha nhiều hơn chính vì các IP đó được sử dụng đồng thời bởi những người dùng khác trên nền tảng cho các nhiệm vụ tương tự. Việc chuyển sang pool proxy cư trú riêng với logic xoay vòng riêng và độ trễ ngẫu nhiên giữa các yêu cầu giảm tần suất captcha xuống nhiều lần.
Thu thập dữ liệu từ Google Maps và đánh giá. Đối với các nhiệm vụ không yêu cầu tính địa lý (ví dụ, thu thập thông tin liên hệ của các công ty trên toàn quốc), thường chỉ cần proxy từ trung tâm dữ liệu — chúng nhanh hơn proxy cư trú và rẻ hơn nhiều khi có khối lượng lớn, nếu trang web mục tiêu không áp dụng bảo vệ chống bot nghiêm ngặt.
Danh sách kiểm tra lựa chọn proxy cho dự án Apify
- Tính toán khối lượng lưu lượng thực tế của actor trong một tháng (yêu cầu × trọng lượng trung bình của trang)
- So sánh khối lượng này với mức phí của Apify Proxy tích hợp — nếu vượt quá 5-10 GB thường xuyên, hãy xem xét các lựa chọn thay thế
- Xác định mức độ nhạy cảm của trang web mục tiêu với bot — các marketplace như Ozon yêu cầu IP cư trú
- Kiểm tra xem có cần gắn bó địa lý với khu vực cụ thể hay không (có liên quan đến Wildberries và Ozon)
- Thiết lập xoay vòng phiên và độ trễ giữa các yêu cầu một cách thủ công khi chuyển sang pool bên ngoài
- Tắt tải các tài nguyên không cần thiết (hình ảnh, phông chữ, trình theo dõi) trong actor — điều này sẽ giảm tiêu thụ lưu lượng bất kể loại proxy
- Thử nghiệm pool trên một khối lượng nhỏ trước khi chuyển tất cả các actor sang cấu hình mới
Kết luận
Apify Proxy tích hợp là một khởi đầu thuận tiện cho các nhiệm vụ một lần và các khởi động thử nghiệm nhỏ, nhưng khi thu thập dữ liệu thường xuyên hoặc quy mô lớn từ các marketplace, chi phí của nó nhanh chóng vượt quá chi phí cho một pool proxy riêng. Việc chuyển đổi yêu cầu một chút cấu hình nhiều hơn ở giai đoạn đầu — viết logic xoay vòng, phiên và cấu hình proxy trong mã của actor — nhưng sẽ được hoàn vốn ngay trong tháng đầu tiên khi có khối lượng từ 10-50 GB lưu lượng.
Nếu các actor của bạn thu thập dữ liệu từ Wildberries, Ozon hoặc Amazon, hãy xem xét proxy cư trú — chúng cung cấp rủi ro thấp về việc bị chặn và cho phép xác định khu vực cần thiết để hiển thị chính xác giá cả. Đối với các nguồn ít bảo vệ hơn mà không có bảo vệ chống bot nghiêm ngặt, các proxy từ trung tâm dữ liệu rẻ hơn sẽ phù hợp, và để thu thập dữ liệu từ các ứng dụng di động và mạng xã hội thông qua các Apify-actor, hãy xem xét proxy di động — chúng cung cấp "sạch" IP tối đa với rủi ro phát hiện tối thiểu.