Cloudflare lại siết chặt kiểm soát đối với các trình thu thập dữ liệu AI. Công ty, qua mạng lưới của mình, xử lý khoảng 20% tổng lưu lượng truy cập web, đã thông báo: từ 15 tháng 9 năm 2026, các trình thu thập dữ liệu "hỗn hợp" (mixed-use) sẽ bị chặn mặc định trên các trang quảng cáo, có thể kiếm tiền — đối với tất cả khách hàng mới và tất cả trang web mới trên các tài khoản hiện có. Đồng thời, mô hình Pay Per Crawl sẽ được mở rộng, nơi quyền truy cập của bot vào nội dung trở thành dịch vụ có phí. Đối với tất cả những ai thu thập dữ liệu, đây không phải là một tin tức trừu tượng về các nhà xuất bản — mà là tín hiệu rõ ràng rằng "khu vực xám" của web mở đang bị thu hẹp thêm một bước.
Cloudflare đã thông báo điều gì
Điểm mới chính là khái niệm “trình thu thập dữ liệu hỗn hợp”. Đây là cách Cloudflare gọi các bot thu thập dữ liệu cho hai mục đích cùng một lúc: lập chỉ mục trên tìm kiếm và đào tạo các mô hình AI. Trước đây, những trình thu thập dữ liệu này hoạt động dưới danh nghĩa bot "tìm kiếm" và nhận quyền truy cập vào nội dung đổi lấy lưu lượng truy cập. Giờ đây, Cloudflare đã chấm dứt thỏa thuận này: nếu trang web kiếm tiền từ quảng cáo, trình thu thập dữ liệu hỗn hợp sẽ không được phép truy cập vào các trang có thể kiếm tiền.
Về mặt kỹ thuật, điều này được thực hiện thông qua các quy tắc robots.txt được quản lý và các thuật toán quản lý bot được cập nhật. Chủ sở hữu trang web không cần phải viết gì bằng tay — Cloudflare tự động duy trì danh sách và logic. Ngày bắt đầu cho các trang web mới là 15 tháng 9 năm 2026; các dự án hiện có có thể kích hoạt chặn nếu muốn.
Vị trí của công ty đã được CEO Matthew Prince tóm tắt: “Bây giờ, khi mà hầu hết lưu lượng truy cập trên internet không phải là con người, chúng tôi cần hành động quyết liệt và nhanh chóng để có thể tạo ra một hệ sinh thái bền vững”. Những thay đổi này đã được hỗ trợ công khai bởi Associated Press, Time, The Atlantic và Reddit — tức là những nhà xuất bản lớn nhất đang phải chịu ảnh hưởng nhiều nhất từ việc nội dung của họ bị khai thác miễn phí.
Các con số giải thích mọi thứ
Để hiểu tại sao nhà cung cấp hạ tầng lại tham gia vào cuộc chiến với các công ty AI, chỉ cần nhìn vào tỷ lệ “lượt thu thập dữ liệu so với lượt truy cập” (crawl-to-referral) cho năm 2025 mà chính Cloudflare đã đưa ra:
- Google — 14:1. Với mỗi 14 lượt thu thập trang, công cụ tìm kiếm gửi cho trang web một khách truy cập thực sự. Chấp nhận được: đây là thỏa thuận cũ "chúng tôi lấy nội dung, bạn nhận lưu lượng truy cập".
- OpenAI — 1 700:1. Với 1700 lượt thu thập — một lượt truy cập. Sự trao đổi đã không còn cân bằng.
- Anthropic — 73 000:1. Bảy mươi ba nghìn lượt thu thập cho một lượt truy cập. Thực tế là nội dung bị khai thác, trong khi lưu lượng truy cập không có gì cả.
Chính sự bất đối xứng này đã phá vỡ mô hình "mở mặc định" cũ của web. Như các nhà phân tích đã chính xác chỉ ra: “Nơi mà web trước đây mở ra, cho đến khi bạn đóng lại, giờ đây một phần đáng kể của nó đã bị đóng lại, cho đến khi bạn mở ra”. Đây là sự đảo ngược nguyên tắc mặc định 180 độ — và nó không chỉ ảnh hưởng đến các phòng thí nghiệm AI, mà còn đến bất kỳ công cụ thu thập tự động nào rơi vào cùng một tình huống.
Pay Per Crawl: quyền truy cập trở thành hàng hóa
Phần thứ hai của thông báo — mở rộng Pay Per Crawl, một thị trường mà Cloudflare đã khởi động trong phiên bản beta riêng tư từ ngày 1 tháng 7 năm 2025. Logic rất đơn giản: thay vì lựa chọn nhị phân "cho phép / chặn", nhà xuất bản có thêm một lựa chọn thứ ba — thu phí cho mỗi lượt thu thập. Chủ sở hữu trang web tự đặt giá, và công ty AI quyết định có trả theo giá đó hay không. Cloudflare đóng vai trò trung gian, xác minh danh tính của bot và thực hiện các giao dịch.
Đối với thị trường, đây là một sự thay đổi địa chất. Dữ liệu, vốn được coi là "miễn phí vì công khai" trong nhiều năm, giờ đây trở thành tài nguyên có phí với mức giá. Và khi Cloudflare mở rộng mô hình này, quyền truy cập hợp pháp, "chính thức" vào nội dung trở nên đắt đỏ và phức tạp hơn cho những ai không sẵn sàng ký hợp đồng và trả phí theo lượt thu thập.
Làm thế nào điều này liên quan đến proxy và thu thập dữ liệu
Đây là nơi mà kết luận thực tiễn chính nằm. Khi các nền tảng lớn đóng cửa cho các trình thu thập dữ liệu "chính thống" theo User-Agent, nhu cầu sẽ không thể tránh khỏi chuyển sang các công cụ làm cho lưu lượng truy cập không thể phân biệt được với con người. Người sáng lập công ty phân tích Synthient, Ben Brandidge, thẳng thắn nhận định: “AI chắc chắn dường như đang thúc đẩy nhu cầu về proxy cư trú” — vì các công ty đang tìm cách vượt qua các chặn đối với các trình thu thập dữ liệu của họ.
Quy mô của lớp bóng tối này đã ấn tượng. Theo dữ liệu từ IPInfo, chỉ trong 90 ngày, sáu nhà cung cấp được theo dõi đã ghi nhận gần 79 triệu IP duy nhất. Trong khi đó, thị trường rất chồng chéo: khoảng 46% địa chỉ proxy cư trú đồng thời xuất hiện trong các nhóm của nhiều nhà cung cấp khác nhau, và các IP riêng lẻ đã xuất hiện trong mạng lưới của hơn một trăm dịch vụ khác nhau. Điều này có nghĩa là "proxy cư trú rẻ" thực tế thường là cùng một địa chỉ đã được bán lại, đã xuất hiện trong hàng chục chiến dịch của người khác — và có thể đã bị đưa vào danh sách đen.
Chúng tôi đã viết rằng áp lực quy định đối với việc thu thập dữ liệu đang gia tăng song song với áp lực kỹ thuật: EU AI Act, có hiệu lực từ ngày 2 tháng 8 năm 2026, sẽ làm tăng trọng số cho robots.txt và opt-out cho việc đào tạo các mô hình. Hành động của Cloudflare — là nửa kỹ thuật của cùng một xu hướng: các rào cản pháp lý và hạ tầng đang hội tụ, và "chỉ cần gửi yêu cầu GET từ IP trung tâm dữ liệu" ngày càng trở nên kém hiệu quả.
Các nhà thu thập dữ liệu nên làm gì
Còn quá sớm để hoảng loạn, nhưng đã đến lúc xem xét lại công nghệ. Một số định hướng thực tiễn cho những tháng tới.
- Phân tách nhiệm vụ theo mức độ bảo vệ. Đối với các nguồn mở, ít bảo vệ, vẫn đủ với các proxy trung tâm dữ liệu nhanh và rẻ. Chi tiêu lưu lượng cư trú cho chúng là lãng phí tiền bạc.
- Đối với các trang web dưới Cloudflare, hãy sử dụng IP cư trú. Khi mục tiêu gửi yêu cầu qua quản lý bot, các proxy cư trú từ các nhà cung cấp thực sự sẽ cứu giúp: hành vi của chúng mặc định được coi là của con người. Điều quan trọng là không phải kích thước tuyệt đối của nhóm, mà là độ sạch và tỷ lệ giao thoa thấp với các dịch vụ khác.
- IP di động — cho những mục tiêu khó khăn nhất. Các mạng xã hội và nền tảng có hệ thống chống bot quyết liệt hơn tốt hơn khi sử dụng proxy di động: sau một IP của nhà cung cấp có hàng ngàn thuê bao thực sự, vì vậy việc chặn hoàn toàn nó là không có lợi cho nền tảng.
- Đừng tính "khối lượng", mà hãy tính "tính sống sót". Sau sự chuyển hướng của Cloudflare sang "đóng mặc định", chỉ số chất lượng không còn là gigabyte, mà là tỷ lệ trang thành công được thu thập mà không bị cấm. Một nhóm bán lại rẻ với tỷ lệ giao thoa 46% tạo ra con số lưu lượng đẹp nhưng tỷ lệ thành công lại thất bại.
- Tuân thủ quy tắc ở những nơi có quy định. Nếu nguồn cung cấp API chính thức hoặc điều kiện Pay Per Crawl, cho các quy trình sản xuất ổn định, điều này thường rẻ hơn và đáng tin cậy hơn so với cuộc chạy đua vũ trang. Proxy là công cụ cho dữ liệu công khai, không phải để vượt qua các cấm đoán hợp đồng trực tiếp.
Kết luận
Bước đi của Cloudflare không phải là một tin tức đơn lẻ, mà là một phần của sự chuyển mình hệ thống: web đang chuyển từ mô hình "mở, cho đến khi bạn đóng" sang "đóng, cho đến khi bạn mở". Các tỷ lệ như 73 000:1 cho thấy tại sao điều này là không thể tránh khỏi, trong khi Pay Per Crawl biến quyền truy cập dữ liệu thành hàng hóa có giá. Đối với việc thu thập dữ liệu, điều này có nghĩa là một điều: thời đại mà chỉ cần IP trung tâm dữ liệu và tiêu đề User-Agent đã đủ đang kết thúc. Những người chiến thắng là những người xây dựng trước trên các mạng cư trú và di động sạch sẽ và tính toán không phải là khối lượng lưu lượng, mà là tỷ lệ dữ liệu thực sự đến được một cách sống động. Các rào cản sẽ chỉ gia tăng — và chất lượng hạ tầng proxy trở thành yếu tố quyết định rằng bạn có nhận được dữ liệu hay không.
```