Ngày 1 tháng 7 năm 2026, Cloudflare đã tổ chức "Ngày Độc lập Nội dung" lần thứ hai và lần đầu tiên chính thức phân loại các tác nhân AI thành một loại bot riêng biệt. Giờ đây, lưu lượng truy cập được chia thành ba loại — Tìm kiếm, Tác nhân và Đào tạo, — và từ ngày 15 tháng 9 năm 2026, trên các trang có quảng cáo, các bot thuộc loại Tác nhân và Đào tạo sẽ bị chặn theo mặc định. Đồng thời, các tòa án và các nhà bán lẻ lớn đã đóng cửa trước "trình duyệt tác nhân" như Perplexity Comet và ChatGPT Atlas. Chúng ta cùng tìm hiểu điều gì đang xảy ra với web tác nhân và tại sao các trợ lý AI tự động ngày càng gặp khó khăn mà không có proxy cư trú.
Điều gì đã xảy ra: các bot đã có một tầng lớp thứ ba
Trước đây, web chỉ biết đến hai loại lưu lượng tự động: các crawler tìm kiếm, những người lập chỉ mục các trang, và các crawler đào tạo, những người rút nội dung để huấn luyện các mô hình. Năm 2026, một loại thứ ba đã được thêm vào — tác nhân. Cloudflare, qua mạng của họ, chiếm khoảng 20% tổng lưu lượng web, đã đưa ra định nghĩa chính xác: đây là "hành vi tự động hóa, thường hoạt động trong thời gian thực, thay mặt cho con người, để thực hiện một điều gì đó ngay lập tức".
Dưới định nghĩa này, các bot fetch của trợ lý trò chuyện (ví dụ, ChatGPT-User, người lấy thông tin mới theo yêu cầu của người dùng) và các tác nhân sử dụng trình duyệt đầy đủ — Gemini hoặc Claude, điều khiển Chrome thực sự. Logic của chính sách mới rất đơn giản: quảng cáo là tín hiệu cho thấy chủ sở hữu trang web muốn hiển thị trang cho con người và kiếm tiền từ sự chú ý của họ. Do đó, trên các trang có thể kiếm tiền, Cloudflare theo mặc định chặn các bot, những người làm mất đi sự chú ý này — các bot đào tạo và tác nhân.
Các ngày cần ghi nhớ: những thay đổi có hiệu lực từ 15 tháng 9 năm 2026 và áp dụng cho các miền mới kết nối với Cloudflare. Các bot tìm kiếm vẫn được phép — các trang web vẫn cần lưu lượng từ các công cụ tìm kiếm. Còn các crawler đa mục đích như Googlebot sẽ được đánh giá dựa trên tổng hợp tất cả các vai trò của chúng: nếu chủ sở hữu bật chặn đào tạo — thì bot hỗn hợp như vậy sẽ bị chặn hoàn toàn.
Trình duyệt tác nhân: ai đã ra sân trong hai năm qua
Còn vào đầu năm 2025, "trình duyệt AI" nghe có vẻ như một thí nghiệm. Đến giữa năm 2026, đây đã là một thị trường đông đúc của các trợ lý tự động, những người tự nhấp chuột, cuộn trang, điền biểu mẫu và thực hiện mua sắm. Các người chơi chính:
- Perplexity Comet — ra mắt vào tháng 7 năm 2025, miễn phí, hoạt động trên desktop, Android và iOS;
- ChatGPT Atlas từ OpenAI — tháng 10 năm 2025, theo đăng ký, với chế độ "Tác nhân" riêng;
- Chrome + Gemini — tích hợp từ Google, tháng 1 năm 2026, cho các thuê bao AI Pro và Ultra;
- Claude for Chrome — tiện ích mở rộng cho trình duyệt hiện có, tháng 8 năm 2025;
- Edge Copilot Mode — chế độ miễn phí của Microsoft, tháng 7 năm 2025;
- Opera Neon — tháng 9 năm 2025, phát hành công khai vào tháng 12, đăng ký khoảng 19,90 đô la mỗi tháng.
Tất cả chúng hoạt động tương tự: tác nhân điều khiển giao diện thông qua các ảnh chụp màn hình và lệnh nhập — "nhìn thấy" trang, nhấp chuột, gõ và truy cập các liên kết thay cho bạn. Chính cơ chế giống con người này khiến chúng trở thành nỗi đau đầu cho các hệ thống chống bot: về mặt hình thức, đây không phải là một crawler kéo API, mà là một phiên làm việc của trình duyệt thực, đứng sau là yêu cầu của một người dùng thực. Google thậm chí đã giới thiệu vào tháng 3 năm 2026 một định danh riêng Google-Agent, để các chủ sở hữu trang web có thể phân biệt các yêu cầu như vậy trong nhật ký.
Các tòa án đã đứng về phía các trang web
Trong khi Cloudflare đang phân phối các cài đặt, cuộc xung đột xung quanh các tác nhân đã đến tòa án. Vụ kiện điển hình nhất là Amazon chống lại Perplexity. Amazon đã đệ đơn kiện vào tháng 11 năm 2025, cáo buộc startup này cố tình "giấu" bản chất của các tác nhân AI của mình để tiếp tục thu thập dữ liệu từ trang web của nhà bán lẻ mà không có sự cho phép.
Vào ngày 10 tháng 3 năm 2026, thẩm phán Maxine Chesney đã đứng về phía Amazon. Trong phán quyết, bà cho biết công ty đã cung cấp "bằng chứng thuyết phục": trình duyệt Comet đã truy cập vào trang web theo chỉ dẫn của người dùng, nhưng "không có sự ủy quyền" từ phía nhà bán lẻ. Theo Amazon, Comet đã "giấu" bản chất tự động của nó, giả vờ là một người mua thực để vượt qua các hệ thống phát hiện. Amazon thậm chí đã tài liệu hóa chi phí — hơn 5.000 đô la cho việc phát triển các công cụ chặn Comet khỏi việc truy cập vào dữ liệu khách hàng nội bộ. Perplexity đã phản hồi rằng họ "sẽ tiếp tục chiến đấu cho quyền của người dùng internet được chọn bất kỳ AI nào mà họ muốn".
Amazon cũng hành động mà không cần tòa án. Thông qua tệp robots.txt, nhà bán lẻ đã đóng cửa truy cập cho các bot ChatGPT-User và OAI-SearchBot (công cụ SearchGPT), và trước đó — cho bot GPT đào tạo. Các crawler liên quan đến Meta, Google và Perplexity cũng bị chặn. Sự mỉa mai là OpenAI đồng thời xây dựng một kênh thương mại riêng: chức năng Instant Checkout đã cho phép mua hàng trực tiếp trong ChatGPT từ Walmart, Etsy, Shopify và Target. Các nhà bán lẻ muốn bán hàng qua AI theo điều kiện của họ — và không muốn các tác nhân bên ngoài đi lang thang qua các cửa hàng của họ một cách không kiểm soát.
Làm thế nào các trang web phát hiện tác nhân — và tại sao IP không phải là tất cả
Chặn một tác nhân chỉ dựa trên tên user-agent là điều ngây thơ: nó dễ dàng bị giả mạo. Do đó, bộ chống bot của Cloudflare và các dịch vụ tương tự xem xét tổng hợp các tín hiệu, và ở đây các trình duyệt tự động gặp khó khăn:
- Ngón tay không có đầu của trình duyệt không có giao diện. Môi trường không có đầu tự tiết lộ mình qua một loạt các bất thường: độ phân giải màn hình 0x0, không có phông chữ đã cài đặt, GPU báo cáo như một trình tạo hình phần mềm "SwiftShader". Người dùng thực không trông như vậy — và điều này được phát hiện trong vài mili giây.
- Ngón tay TLS. Ngay cả với các tiêu đề HTTP hoàn hảo, quá trình bắt tay TLS tiết lộ sự khác biệt giữa danh tính trình duyệt đã tuyên bố và các đặc điểm thực tế của kết nối. Chúng tôi đã phân tích chi tiết vector này trong tài liệu về JA4 và TLS-fingerprinting — hôm nay đây là một trong những công cụ chính để phát hiện.
- Phân tích hành vi. Con người cuộn trang với những khoảng dừng, di chuyển chuột không hoàn hảo. Trong khi đó, tác nhân hoạt động với "hiệu suất robot tàn nhẫn" — tải trang trong vài mili giây và ngay lập tức trích xuất dữ liệu, điều này khiến nó bị phát hiện.
- Danh tiếng IP. Các dải của các nhà cung cấp đám mây — AWS, Google Cloud, Azure — đã được phân loại từ lâu là "bot-friendly" và nhận được các hình phạt nặng trong các bộ lọc danh tiếng, bất kể ngón tay còn lại sạch sẽ như thế nào.
Đây là lúc proxy xuất hiện. Danh tiếng IP là rào cản đầu tiên mà tác nhân gặp phải khi được khởi chạy từ địa chỉ trung tâm dữ liệu. Proxy cư trú cung cấp các địa chỉ IP của các thiết bị gia đình thực, và lưu lượng của tác nhân không còn trông giống như một yêu cầu từ một tủ server. Đối với các kịch bản di động — mạng xã hội, ứng dụng với phát hiện nghiêm ngặt — còn đáng tin cậy hơn proxy di động với IP của các nhà mạng. Địa chỉ trung tâm dữ liệu vẫn không biến mất: cho các nhiệm vụ không nhạy cảm với danh tiếng, proxy trung tâm dữ liệu cung cấp tốc độ và giá cả mà proxy cư trú không thể cung cấp.
Lưu ý quan trọng: proxy chỉ là một lớp
IP cư trú chỉ loại bỏ một trong bốn rào cản. Nếu tác nhân vẫn được khởi chạy trong trình duyệt không có đầu với ngón tay "SwiftShader" và hành xử như một robot, IP sạch sẽ không cứu được nó — việc phát hiện sẽ được hình thành từ các tín hiệu còn lại. Cặp làm việc năm 2026 không phải là "proxy hay chống phát hiện", mà là tất cả cùng một lúc: nút đầu ra cư trú hoặc di động, ngụy trang ngón tay trình duyệt và TLS thành thiết bị thực tế và thời gian hành động giống con người. Việc thu thập dữ liệu và tự động hóa đã hoàn toàn biến thành một trò chơi của các danh tính, chứ không phải địa chỉ.
Điều này có nghĩa là gì trong thực tế
Đối với doanh nghiệp và các nhà phát triển, những người xây dựng tự động hóa trên các trình duyệt tác nhân, các kết luận như sau:
- 15 tháng 9 — không phải là một ngày trừu tượng. Nếu các tác nhân của bạn truy cập vào các trang web có quảng cáo, hãy chuẩn bị cho việc một phần trong số đó sẽ bắt đầu trả về các thông điệp thay thế thay vì nội dung. Hãy lên kế hoạch cho cơ sở hạ tầng trước.
- Tác nhân trung tâm dữ liệu — mục tiêu số một. Điều đầu tiên cần làm là chuyển lưu lượng tác nhân ra khỏi các dải đám mây sang IP cư trú hoặc di động. Điều này rẻ hơn so với việc viết lại logic sau khi bị cấm hàng loạt.
- Rủi ro pháp lý là có thật. Vụ kiện Amazon chống lại Perplexity cho thấy: "ngụy trang" tác nhân thành con người không phải là vùng xám, mà là một lập luận cho tòa án. Hãy tôn trọng robots.txt ở những nơi quan trọng và đừng biến tự động hóa thành người dùng thực trên các trang web mà điều này bị cấm rõ ràng.
- Các kênh chính thức đang phát triển. Instant Checkout và các đối tác AI với các nhà bán lẻ — tín hiệu cho thấy một phần kịch bản tác nhân sẽ chuyển sang các API hợp pháp. Nhưng cho đến nay, độ phủ vẫn còn phân mảnh, các tác nhân tự động sẽ phải sống trong một thế giới mà một nửa các trang web không chào đón họ.
Kết luận
Web tác nhân — không còn là một khái niệm trong các bài thuyết trình, mà là lưu lượng thực tế mà các trang web đã học cách và muốn lọc. Cloudflare đã cung cấp cho các chủ sở hữu công cụ, các tòa án đã tạo ra tiền lệ, các nhà bán lẻ đã đưa ra ví dụ. Các trợ lý AI tự động không phải là bản án tử hình, nhưng là một tín hiệu rõ ràng: để tác nhân đến được mục tiêu, nó phải trông giống như một con người ở mọi cấp độ — từ IP đầu ra đến thời gian nhấp chuột. Proxy cư trú và di động ở đây không phải là xa xỉ, mà là lớp cơ bản, mà không có nó, các thủ thuật khác không hoạt động. Web không đóng cửa hoàn toàn trước các tác nhân — nó chỉ ngừng cho phép những người đến với bảng hiệu "tôi là bot".