Phân tích Amazon không bị chặn: cách thu thập dữ liệu về giá cả và sản phẩm của đối thủ một cách an toàn

Amazon đang tích cực chống lại việc thu thập dữ liệu tự động - nền tảng này chặn các địa chỉ IP khi phát hiện hoạt động nghi ngờ, hiển thị captcha và tạm thời hạn chế quyền truy cập. Đối với những người bán cần theo dõi giá cả của đối thủ, phân tích danh mục sản phẩm hoặc thu thập đánh giá, điều này trở thành một vấn đề nghiêm trọng. Trong hướng dẫn này, chúng ta sẽ xem xét cách tổ chức việc phân tích Amazon một cách ổn định mà không có rủi ro bị chặn.

Bạn sẽ tìm hiểu các loại proxy nào phù hợp để làm việc với Amazon, cách thiết lập xoay vòng địa chỉ IP, các công cụ nào để sử dụng cho tự động hóa và cách vượt qua các cơ chế bảo vệ của nền tảng. Tất cả các khuyến nghị đều dựa trên kinh nghiệm thực tiễn của những người bán và các chuyên gia thương mại điện tử.

Tại sao Amazon chặn phân tích và cách bảo vệ hoạt động

Amazon sử dụng hệ thống bảo vệ đa tầng chống lại việc thu thập dữ liệu tự động. Nền tảng này xử lý hàng triệu yêu cầu mỗi ngày, và nhiệm vụ của hệ thống chống bot là phân biệt người dùng thực và bot. Hiểu được nguyên tắc hoạt động của bảo vệ này là rất quan trọng để tổ chức một phân tích thành công.

Các phương pháp chính để phát hiện bot trên Amazon:

• Phân tích tần suất yêu cầu: nếu từ một địa chỉ IP nhận quá nhiều yêu cầu trong một khoảng thời gian ngắn (ví dụ: 50+ yêu cầu mỗi phút), hệ thống sẽ tự động đánh dấu nó là nghi ngờ
• Kiểm tra User-Agent: Amazon theo dõi trình duyệt và thiết bị của người dùng - các yêu cầu không có User-Agent hoặc với các phiên bản lỗi thời sẽ gây nghi ngờ
• Phân tích hành vi: người dùng thực không mở 100 thẻ sản phẩm liên tiếp trong 2 phút - bot thì làm như vậy
• Theo dõi cookies và phiên: không có cookies hoặc thay đổi fingerprint trình duyệt liên tục - dấu hiệu của tự động hóa
• Định vị địa lý của các địa chỉ IP: nếu IP thuộc về trung tâm dữ liệu hoặc dịch vụ VPN, khả năng bị chặn cao hơn
• Captcha và trang thử thách: khi có hoạt động nghi ngờ, Amazon sẽ hiển thị captcha hoặc trang kiểm tra "bạn là robot?"

Có nhiều loại chặn khác nhau: hạn chế quyền truy cập tạm thời trong 30-60 phút, hiển thị captcha cho mỗi yêu cầu hoặc chặn hoàn toàn địa chỉ IP trong vài giờ. Đối với việc phân tích thương mại, điều quan trọng là giảm thiểu rủi ro của tất cả các kịch bản này.

Các loại proxy nào phù hợp cho phân tích Amazon

Lựa chọn loại proxy có ảnh hưởng trực tiếp đến độ ổn định của việc phân tích và số lượng chặn. Đối với việc làm việc với Amazon, điều quan trọng là sử dụng các địa chỉ IP mà nền tảng coi là địa chỉ của người dùng thực. Hãy xem xét ba loại proxy chính và tính khả thi của chúng.

Proxy dân cư - lựa chọn tối ưu cho Amazon

Proxy dân cư sử dụng các địa chỉ IP của các nhà cung cấp dịch vụ internet thực tế. Đối với Amazon, những địa chỉ này trông giống như người dùng bình thường, điều này giảm thiểu rủi ro bị chặn. Đây là lựa chọn đáng tin cậy nhất cho việc phân tích thương mại.

Ưu điểm của proxy dân cư cho Amazon:

• Điểm tin cậy cao - Amazon tin tưởng các IP dân cư nhất
• Có thể phân tích tới 20-30 trang từ một IP mà không bị chặn
• Hỗ trợ định vị địa lý - có thể thu thập dữ liệu theo các quốc gia và thành phố cụ thể
• Khả năng thấp bị chặn captcha (dưới 5% yêu cầu)
• Phù hợp cho việc theo dõi giá cả và danh mục sản phẩm lâu dài

Proxy dân cư có giá cao hơn các loại khác, nhưng cho việc phân tích Amazon, đây là một khoản đầu tư hợp lý - bạn tiết kiệm thời gian xử lý các chặn và nhận được dòng dữ liệu ổn định.

Proxy di động - ẩn danh tối đa

Proxy di động sử dụng các địa chỉ IP của các nhà mạng di động (4G/5G). Những địa chỉ này có mức độ tin cậy cao nhất, vì một IP di động có thể phục vụ hàng trăm người dùng thực tế. Amazon hầu như không bao giờ chặn các IP di động.

Khi nào nên sử dụng proxy di động:

• Phân tích các danh mục sản phẩm được bảo vệ đặc biệt
• Thu thập dữ liệu ở các khu vực có bảo vệ chống bot mạnh mẽ
• Làm việc với tài khoản Amazon Seller Central (theo dõi đối thủ từ góc độ của người bán)
• Các tình huống mà proxy dân cư cho thấy tỷ lệ chặn cao

Nhược điểm của proxy di động là chi phí cao và số lượng IP có sẵn ít hơn. Chúng có ý nghĩa sử dụng cho các nhiệm vụ quan trọng hoặc như một lựa chọn dự phòng.

Proxy trung tâm dữ liệu - lựa chọn tiết kiệm với các hạn chế

Proxy trung tâm dữ liệu là các địa chỉ IP của các máy chủ của nhà cung cấp dịch vụ lưu trữ. Chúng nhanh và rẻ, nhưng Amazon dễ dàng nhận diện và thường xuyên chặn. Đối với việc phân tích Amazon, chúng chỉ có thể được sử dụng với các hạn chế nghiêm ngặt.

Cách sử dụng proxy trung tâm dữ liệu cho Amazon:

• Chỉ để thử nghiệm các trình phân tích trước khi chạy trên proxy dân cư
• Thu thập dữ liệu với tần suất thấp - không quá 5-10 yêu cầu mỗi phút từ một IP
• Phân tích dữ liệu không quan trọng, nơi có thể chấp nhận gián đoạn do bị chặn
• Phải xoay vòng IP sau mỗi 10-15 yêu cầu

Đối với việc phân tích thương mại Amazon, proxy trung tâm dữ liệu không được khuyến nghị như một công cụ chính - tỷ lệ chặn có thể đạt 40-60%, điều này làm cho việc thu thập dữ liệu trở nên không ổn định.

Công cụ cho phân tích Amazon: giải pháp sẵn có và API

Đối với việc phân tích Amazon, có nhiều loại công cụ - từ các nền tảng SaaS sẵn có đến các kịch bản tự phát triển. Lựa chọn phụ thuộc vào khối lượng dữ liệu, ngân sách và kỹ năng kỹ thuật của nhóm.

Nền tảng sẵn có cho phân tích Amazon

Các dịch vụ chuyên biệt cung cấp các giải pháp sẵn có để thu thập dữ liệu từ Amazon mà không cần lập trình. Chúng đã tích hợp với các nhà cung cấp proxy và có các cơ chế tích hợp để vượt qua các chặn.

Các nền tảng phổ biến:

• Helium 10: công cụ toàn diện cho người bán Amazon với các chức năng phân tích giá, theo dõi vị trí và phân tích đối thủ
• Jungle Scout: nền tảng phổ biến cho nghiên cứu sản phẩm, bao gồm trình phân tích dữ liệu về doanh số và xu hướng
• AMZScout: công cụ tìm kiếm sản phẩm có lợi nhuận với việc thu thập dữ liệu tự động về giá cả và xếp hạng
• Keepa: chuyên theo dõi lịch sử giá của các sản phẩm Amazon, API để tích hợp
• DataHawk: nền tảng để theo dõi đối thủ và phân tích thị trường Amazon

Ưu điểm của các nền tảng sẵn có là không cần tự thiết lập proxy và vượt qua bảo vệ. Nhược điểm là chi phí đăng ký cao (từ $50 đến $500 mỗi tháng) và hạn chế về khối lượng yêu cầu.

Amazon Product Advertising API

API chính thức của Amazon cho phép nhận dữ liệu về sản phẩm một cách hợp pháp, nhưng với các hạn chế nghiêm ngặt. API chỉ có sẵn cho các thành viên của chương trình đối tác Amazon Associates, và số lượng yêu cầu bị giới hạn bởi mức doanh số của bạn.

Hạn chế của Product Advertising API:

• Chỉ có sẵn cho các đối tác đã đăng ký của Amazon
• Giới hạn yêu cầu phụ thuộc vào khối lượng doanh số từ các liên kết đối tác
• Không phải tất cả dữ liệu đều có sẵn qua API (ví dụ: không có thông tin chi tiết về đối thủ)
• Độ trễ cập nhật dữ liệu - thông tin có thể không còn chính xác

API phù hợp cho việc theo dõi cơ bản về sản phẩm, nhưng để phân tích sâu về đối thủ và giá cả hiện tại, cần phải sử dụng phân tích web.

Các trình phân tích tự phát triển bằng Python và Node.js

Đối với các công ty có chuyên gia kỹ thuật, lựa chọn tối ưu là phát triển trình phân tích riêng. Điều này mang lại kiểm soát hoàn toàn đối với quy trình thu thập dữ liệu và khả năng điều chỉnh logic cho các nhiệm vụ cụ thể.

Các thư viện phổ biến cho phân tích Amazon:

• Python: Scrapy, BeautifulSoup, Selenium, Playwright - cho việc phân tích các trang tĩnh và động
• Node.js: Puppeteer, Cheerio, Axios - cho việc làm việc với việc kết xuất JavaScript
• Các khung sẵn có: ScrapingBee, ScraperAPI - dịch vụ đám mây với xoay vòng proxy tích hợp

Khi phát triển trình phân tích riêng, việc thiết lập đúng cách làm việc với proxy, giả lập hành vi người dùng và xử lý lỗi là rất quan trọng. Về vấn đề này sẽ được đề cập chi tiết trong các phần tiếp theo.

Thiết lập proxy cho phân tích: xoay vòng và nhóm IP

Thiết lập đúng cách proxy là yếu tố chính cho việc phân tích thành công Amazon. Ngay cả các proxy dân cư chất lượng cũng không bảo vệ bạn khỏi bị chặn nếu sử dụng không đúng cách. Hãy xem xét các chiến lược chính khi làm việc với proxy.

Xoay vòng địa chỉ IP: khi nào và bao lâu nên thay đổi proxy

Xoay vòng proxy là việc tự động thay đổi địa chỉ IP sau một khoảng thời gian nhất định hoặc sau một số lượng yêu cầu nhất định. Điều này giả lập hành vi của nhiều người dùng khác nhau và giảm thiểu rủi ro phát hiện bot.

Các chiến lược xoay vòng cho Amazon:

• Xoay vòng theo yêu cầu: thay đổi IP mỗi 15-20 yêu cầu cho proxy dân cư, mỗi 5-10 cho trung tâm dữ liệu
• Xoay vòng theo thời gian: thay đổi IP mỗi 5-10 phút không phụ thuộc vào số lượng yêu cầu
• Phiên cố định: sử dụng một IP cho toàn bộ phiên phân tích của một danh mục sản phẩm cụ thể (10-15 phút), sau đó thay đổi
• Xoay vòng địa lý: nếu bạn phân tích nhiều khu vực, hãy sử dụng proxy tương ứng với các quốc gia

Chiến lược tối ưu phụ thuộc vào khối lượng phân tích. Đối với việc theo dõi 100-500 sản phẩm mỗi ngày, xoay vòng mỗi 20 yêu cầu là phù hợp. Đối với phân tích quy mô lớn (10.000+ sản phẩm), hãy sử dụng sự kết hợp giữa xoay vòng theo thời gian và số lượng.

Tạo nhóm proxy cho các nhiệm vụ khác nhau

Đừng sử dụng cùng một proxy cho tất cả các nhiệm vụ. Hãy phân chia các địa chỉ IP thành các nhóm riêng biệt tùy thuộc vào loại phân tích - điều này sẽ nâng cao độ ổn định và đơn giản hóa việc chẩn đoán vấn đề.

Cấu trúc nhóm được khuyến nghị:

• Nhóm theo dõi giá: 20-50 IP dân cư với xoay vòng mỗi 15 yêu cầu
• Nhóm thu thập đánh giá: 10-20 IP với xoay vòng chậm (mỗi 10 phút)
• Nhóm phân tích danh mục: 30-100 IP cho việc thu thập dữ liệu hàng loạt
• Nhóm dự phòng: 10-15 proxy di động cho các nhiệm vụ quan trọng khi bị chặn

Việc phân chia này cho phép cô lập các vấn đề - nếu một nhóm bị chặn, các nhóm khác vẫn tiếp tục hoạt động. Bạn cũng sẽ có thể xác định chính xác loại nhiệm vụ nào gây ra nhiều vấn đề nhất.

Thiết lập thời gian chờ và độ trễ giữa các yêu cầu

Các yêu cầu quá nhanh là nguyên nhân chính gây ra các chặn khi phân tích Amazon. Người dùng thực không mở 50 trang mỗi phút, vì vậy việc giả lập tốc độ tự nhiên là rất quan trọng.

Độ trễ được khuyến nghị:

• Giữa các yêu cầu từ một IP: 2-5 giây độ trễ ngẫu nhiên
• Sau khi nhận captcha: tạm dừng 30-60 giây, thay đổi IP, lặp lại yêu cầu
• Khi gặp lỗi 503 (Dịch vụ không khả dụng): độ trễ theo cấp số nhân - 5, 10, 20, 40 giây
• Tạm dừng vào ban đêm: giảm cường độ phân tích từ 00:00-06:00 theo giờ của khu vực mục tiêu

Sử dụng ngẫu nhiên hóa độ trễ - không thực hiện các yêu cầu đúng mỗi 3 giây. Thay đổi khoảng thời gian từ 2 đến 5 giây một cách ngẫu nhiên để mẫu trông tự nhiên hơn.

Vượt qua hệ thống chống bot: User-Agent, tiêu đề, độ trễ

Proxy chất lượng chỉ là một nửa thành công. Amazon phân tích nhiều tham số của yêu cầu, và tiêu đề hoặc fingerprint trình duyệt không đúng có thể tiết lộ bot ngay cả khi sử dụng các IP dân cư.

Thiết lập đúng User-Agent và tiêu đề

User-Agent là chuỗi thông báo cho máy chủ thông tin về trình duyệt và hệ điều hành của người dùng. Amazon kiểm tra sự phù hợp của User-Agent với các tham số khác của yêu cầu.

Khuyến nghị về User-Agent:

• Sử dụng các phiên bản trình duyệt hiện tại - Chrome 120+, Firefox 121+, Safari 17+
• Xoay vòng User-Agent cùng với địa chỉ IP - mỗi IP nên có trình duyệt riêng
• Không sử dụng User-Agent của trình duyệt di động cho các trang desktop
• Thêm đầy đủ bộ tiêu đề: Accept, Accept-Language, Accept-Encoding

Ví dụ về bộ tiêu đề tối thiểu cho phân tích Amazon:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Language: en-US,en;q=0.9
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Upgrade-Insecure-Requests: 1
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: none
Cache-Control: max-age=0

Làm việc với cookies và phiên

Amazon sử dụng cookies để theo dõi các phiên của người dùng. Trình phân tích không có cookies trông rất nghi ngờ - các trình duyệt thực luôn lưu cookies sau lần truy cập đầu tiên vào trang web.

Chiến lược làm việc với cookies:

• Lưu cookies cho mỗi địa chỉ IP riêng biệt
• Cập nhật cookies khi thay đổi IP - IP mới = phiên mới
• Không sử dụng cùng một cookies cho các IP khác nhau - điều này sẽ ngay lập tức tiết lộ tự động hóa
• Thỉnh thoảng xóa cookies cũ (mỗi 24 giờ)

Khi sử dụng các trình duyệt headless (Selenium, Puppeteer), hãy bật quản lý cookies tự động - điều này sẽ giảm tải cho việc phát triển và giảm số lượng lỗi.

Vượt qua các kiểm tra JavaScript và fingerprinting

Amazon sử dụng JavaScript để thu thập thông tin về trình duyệt của người dùng (độ phân giải màn hình, phông chữ đã cài đặt, fingerprint WebGL). Các trình duyệt headless thường có các dấu hiệu độc đáo, tiết lộ tự động hóa.

Các phương pháp vượt qua fingerprinting:

• Sử dụng các thư viện để che giấu chế độ headless: puppeteer-extra-plugin-stealth cho Puppeteer
• Cài đặt các tham số viewport thực tế (độ phân giải màn hình): 1920x1080, 1366x768, 1440x900
• Thêm ngẫu nhiên vào Canvas fingerprint - mỗi IP nên có một dấu vân tay độc nhất
• Tắt cờ WebDriver: navigator.webdriver nên trả về undefined

Để vượt qua fingerprinting một cách nâng cao, hãy sử dụng các giải pháp sẵn có như Playwright với các hồ sơ trình duyệt đã được cấu hình hoặc các dịch vụ đám mây ScrapingBee, đã giải quyết vấn đề này.

Xử lý captcha và các trang thử thách

Ngay cả khi thiết lập proxy và tiêu đề hoàn hảo, Amazon vẫn có thể hiển thị captcha. Việc xử lý đúng các tình huống này là rất quan trọng để không mất dữ liệu và không bị chặn lâu dài.

Thuật toán xử lý captcha:

• Phát hiện captcha qua các từ khóa trên trang: "Nhập các ký tự", "Nhập các ký tự"
• Ngừng ngay lập tức các yêu cầu từ địa chỉ IP hiện tại
• Thay đổi IP và chờ 30-60 giây trước khi thực hiện yêu cầu tiếp theo
• Ghi lại tất cả các trường hợp captcha để phân tích - có thể cần giảm tốc độ phân tích
• Đối với dữ liệu quan trọng, hãy sử dụng các dịch vụ giải captcha: 2Captcha, Anti-Captcha

Nếu captcha xuất hiện thường xuyên hơn 10% yêu cầu - đó là tín hiệu để xem xét lại chiến lược phân tích: tăng độ trễ, cải thiện chất lượng proxy hoặc giảm cường độ.

Những sai lầm phổ biến khi phân tích Amazon và cách tránh chúng

Nhiều công ty mất thời gian và tiền bạc do những sai lầm phổ biến trong việc thiết lập phân tích. Hãy xem xét những vấn đề phổ biến nhất và cách giải quyết chúng.

Sai lầm #1: Sử dụng một IP cho tất cả các yêu cầu

Những người mới thường mua một hoặc vài proxy và sử dụng chúng cho tất cả các nhiệm vụ mà không có xoay vòng. Amazon nhanh chóng phát hiện hoạt động như vậy và chặn IP.

Giải pháp: Luôn sử dụng một nhóm ít nhất 20-30 địa chỉ IP với xoay vòng tự động. Ngay cả đối với khối lượng phân tích nhỏ (100-200 sản phẩm mỗi ngày), một IP là không đủ.

Sai lầm #2: Bỏ qua độ trễ giữa các yêu cầu

Mong muốn nhận dữ liệu nhanh hơn dẫn đến việc phân tích mạnh mẽ mà không có độ trễ. Kết quả - chặn hàng loạt và cần phải khởi động lại quy trình.

Giải pháp: Luôn thêm độ trễ ngẫu nhiên từ 2-5 giây giữa các yêu cầu. Tốt hơn là thu thập dữ liệu trong 2 giờ một cách ổn định, hơn là bị chặn sau 10 phút.

Sai lầm #3: Sử dụng proxy trung tâm dữ liệu giá rẻ

Cố gắng tiết kiệm chi phí cho proxy dẫn đến việc bị chặn liên tục và mất thời gian để giải quyết các vấn đề. Proxy trung tâm dữ liệu cho Amazon là một khoản tiết kiệm sai lầm.

Giải pháp: Đầu tư vào các proxy dân cư chất lượng ngay từ đầu. Chi phí proxy chỉ chiếm 10-20% tổng chi phí cho phân tích, nhưng chúng quyết định 80% thành công.

Sai lầm #4: Thiếu xử lý lỗi và thử lại

Các trình phân tích không có logic thử lại sẽ mất dữ liệu khi có sự cố tạm thời của mạng hoặc bị chặn ngẫu nhiên. Điều này đặc biệt nghiêm trọng đối với việc phân tích quy mô lớn.

Giải pháp: Triển khai các thử lại tự động với độ trễ theo cấp số nhân. Nếu yêu cầu không thành công - hãy chờ 5 giây, thay đổi IP và thử lại. Tối đa 3 lần thử cho một sản phẩm.

Sai lầm #5: Phân tích vào giờ cao điểm

Amazon tăng cường bảo vệ chống bot vào giờ cao điểm (thường là 18:00-22:00 theo giờ địa phương). Phân tích vào thời gian này dẫn đến nhiều chặn hơn.

Giải pháp: Lập kế hoạch cho việc phân tích chính vào các giờ ban đêm (02:00-06:00) của khu vực mục tiêu. Vào thời gian này, tải trên các máy chủ Amazon là tối thiểu và hệ thống chống bot ít mạnh mẽ hơn.

Khuyến nghị thực tiễn cho phân tích ổn định

Phân tích Amazon thành công là sự kết hợp của các công cụ, thiết lập và quy trình đúng. Dưới đây là những thực tiễn đã được kiểm chứng, giúp bạn tổ chức việc thu thập dữ liệu ổn định.

Theo dõi và ghi lại quá trình phân tích

Không có ghi chép chi tiết, bạn sẽ không thể hiểu được nơi phát sinh vấn đề và cách giải quyết chúng. Hãy thiết lập hệ thống theo dõi từ ngày đầu tiên khởi động trình phân tích.

Những gì cần ghi lại:

• Mỗi yêu cầu: URL, địa chỉ IP, trạng thái phản hồi, thời gian thực hiện
• Tất cả các lỗi: loại lỗi, IP bị chặn, thời gian sự kiện
• Các trường hợp captcha: tần suất xuất hiện, địa chỉ IP có tỷ lệ captcha cao
• Chỉ số hiệu suất: số lượng yêu cầu thành công mỗi giờ, tỷ lệ lỗi
• Trạng thái proxy: các IP nào hoạt động ổn định, các IP nào cần thay thế

Sử dụng các công cụ để trực quan hóa các log - Grafana, Kibana hoặc các bảng điều khiển đơn giản trong Google Sheets. Điều này sẽ giúp bạn nhanh chóng phát hiện các bất thường và phản ứng với các vấn đề.

Thử nghiệm trước khi mở rộng

Đừng khởi động phân tích 10.000 sản phẩm ngay lập tức. Bắt đầu với khối lượng nhỏ, kiểm tra độ ổn định, sau đó từ từ tăng tải.

Khởi động từng bước:

• Ngày 1-3: phân tích 100-200 sản phẩm, phân tích tỷ lệ chặn
• Ngày 4-7: tăng lên 500-1000 sản phẩm, tối ưu hóa độ trễ
• Ngày 8-14: thử nghiệm với 2000-5000 sản phẩm, theo dõi độ ổn định
• Sau 2 tuần: mở rộng đến các khối lượng mục tiêu

Cách tiếp cận này cho phép phát hiện các vấn đề ở giai đoạn đầu và tránh các chặn hàng loạt khi khởi động quy mô lớn.

Các chiến lược dự phòng khi bị chặn

Ngay cả khi thiết lập hoàn hảo, vẫn có thể xảy ra tình huống bị chặn hàng loạt - Amazon có thể tăng cường bảo vệ trong các khoảng thời gian nhất định (ví dụ: trong các đợt giảm giá). Hãy chuẩn bị một kế hoạch B.

Các lựa chọn dự phòng:

• Giữ một nhóm proxy di động dự phòng cho các nhiệm vụ quan trọng
• Sử dụng nhiều nhà cung cấp proxy - nếu một nhà cung cấp bị chặn, hãy chuyển sang nhà cung cấp khác
• Thiết lập tự động chuyển sang API Amazon (nếu có sẵn) khi tỷ lệ lỗi cao
• Có sẵn các kịch bản để phân tích thủ công qua các trình duyệt chống phát hiện (Dolphin Anty, AdsPower)

Tối ưu hóa chi phí cho proxy

Proxy là một trong những khoản chi phí chính khi phân tích. Tối ưu hóa đúng cách có thể giảm chi phí từ 30-50% mà không làm giảm chất lượng dữ liệu.

Các phương pháp tối ưu hóa:

• Sử dụng các phiên cố định - một IP cho 15-20 yêu cầu thay vì thay đổi cho mỗi yêu cầu
• Chỉ phân tích các sản phẩm đã thay đổi - theo dõi các hash của trang và bỏ qua các sản phẩm không thay đổi
• Cache dữ liệu tĩnh (mô tả, đặc điểm) và chỉ cập nhật giá cả
• Thiết lập xoay vòng thông minh - chỉ thay đổi IP khi xuất hiện captcha, không theo thời gian
• Sử dụng proxy dân cư cho dữ liệu quan trọng, trung tâm dữ liệu cho dữ liệu không quan trọng

Thường xuyên phân tích thống kê sử dụng proxy - có thể bạn đang trả quá nhiều cho lưu lượng không sử dụng hoặc có thể chuyển sang gói giá tốt hơn.