Trong khi một số người chặn bot, những người khác lại dạy chúng cách xuất trình hộ chiếu. Vào năm 2026, Cloudflare, Google, Amazon, Akamai và OpenAI đã tập trung quanh một tiêu chuẩn — Web Bot Auth. Ý tưởng rất đơn giản và mang tính cách mạng: lưu lượng tự động không còn được kiểm tra qua địa chỉ IP và chuỗi User-Agent, mà dễ dàng bị làm giả. Thay vào đó, tác nhân ký số hóa mỗi yêu cầu, và trang web ngay lập tức kiểm tra chữ ký. Vào ngày 2 tháng 3 năm 2026, phiên bản thứ năm của bản nháp kiến trúc (draft-meunier-web-bot-auth-architecture-05) đã được phát hành, vào tháng 5, Google bắt đầu thử nghiệm thực tế, và nhóm làm việc IETF nhắm đến việc phát hành tiêu chuẩn vào tháng 8 năm 2026. Chúng ta cùng tìm hiểu cơ chế này là gì, ai đứng sau nó và tại sao đối với tất cả những ai làm việc với việc thu thập dữ liệu và đa tài khoản, đây là một bước ngoặt 180 độ.
Điều gì đã xảy ra: bot có danh tính ký số
Kiểm tra cổ điển "người quen–người lạ" trên web đã dựa vào hai trụ cột. Thứ nhất — User-Agent: chuỗi mà khách hàng tự báo cáo về bản thân và mà bất kỳ kịch bản nào cũng ghi lại trong một dòng mã. Thứ hai — danh sách địa chỉ IP: trang web giữ danh sách các dải "chính thức" của Googlebot, Bingbot và những người khác và kiểm tra DNS ngược. Cả hai phương pháp này vào năm 2026 đã hoàn toàn sụp đổ.
Cloudflare đã nêu rõ vấn đề trong tài liệu kỹ thuật của mình: một địa chỉ IP có thể được sử dụng bởi nhiều người dùng hoặc dịch vụ cùng một lúc, và các dải này liên tục thay đổi theo cơ sở hạ tầng. User-Agent thì hoàn toàn không phải là bằng chứng — đó chỉ là sự tự giới thiệu. Chữ ký ký số, theo ý tưởng của các tác giả, cung cấp xác thực mà không dựa vào "các dải IP luôn thay đổi" hay "các tiêu đề có thể làm giả như User-Agent".
Về mặt kỹ thuật, Web Bot Auth dựa trên tiêu chuẩn đã được chấp nhận HTTP Message Signatures (RFC 9421). Mỗi tác nhân được cấp một cặp khóa Ed25519. Trước khi gửi yêu cầu, tác nhân không ký mọi thứ, mà chỉ authority của URI mục tiêu — tức là miền mà nó đang truy cập (khi truy cập vào example.com, chính example.com sẽ được ký). Trong yêu cầu sẽ có các tiêu đề Signature-Input (cửa sổ hợp lệ với các nhãn created và expires, định danh khóa keyid theo định dạng JWK Thumbprint và thẻ web-bot-auth) và Signature-Agent, chỉ ra thư mục chứa các khóa công khai (JWKS). Trang web tải xuống khóa công khai từ thư mục này và kiểm tra chữ ký. Việc làm giả nó mà không có khóa riêng là không thể, và cửa sổ hợp lệ bảo vệ khỏi việc phát lại yêu cầu đã bị chặn.
Ai đứng sau tiêu chuẩn này
Đây không phải là một thí nghiệm của một công ty. Web Bot Auth được hỗ trợ bởi Cloudflare, Amazon, Akamai và OpenAI. Bản nháp kiến trúc được viết chung bởi Thibaut Meunier (Cloudflare) và Sándor Major (Google). AWS WAF đã thêm hỗ trợ kiểm tra chữ ký, Cloudflare đã tích hợp nó vào chương trình Verified Bots và kích hoạt trên edge của mình trong sản xuất. Một nhóm làm việc riêng của IETF về Web Bot Auth đã được thành lập vào năm 2026 và nhắm đến việc hoàn thành đặc tả để chuẩn hóa vào tháng 8 năm 2026.
Google tham gia — và đây là một bước ngoặt
Vào ngày 6 tháng 5 năm 2026, đã có thông tin rằng Google đang thử nghiệm Web Bot Auth để kiểm tra lưu lượng bot của chính mình. Mục đích là để trang web có thể xác minh: yêu cầu, tự nhận là của Google, thực sự đến từ Google, chứ không phải từ ai đó chỉ đơn giản nhập Googlebot vào User-Agent. Lưu lượng AI đã ký của Google đi dưới danh tính agent.bot.goog — các chủ sở hữu trang web lấy các khóa công khai của Google từ điểm cuối này và xác thực các tiêu đề Signature và Signature-Input.
Tại sao điều này lại quan trọng ngay bây giờ. Chính vì điều mà chúng tôi đã viết về việc chặn các trình duyệt tác nhân: từ ngày 15 tháng 9 năm 2026, Cloudflare sẽ mặc định chặn các AI-crawler "hỗn hợp" trên các trang quảng cáo của các miền mới, và khoảng một phần năm của toàn bộ web đi qua mạng Cloudflare. Web đang đóng cửa. Và Web Bot Auth không phải là về "cách chặn", mà là về "ai được phép vào" . Xuất hiện một danh sách trắng loại mới: không theo IP, mà theo danh tính ký số. Trang web có thể áp dụng chính sách kiểu "chỉ hiển thị giá cả và chi tiết sản phẩm cho các tác nhân đã được xác thực" — và tất cả những thứ khác sẽ tự động bị loại bỏ bên ngoài.
Các tác nhân đã ký: nhóm đầu tiên
Một danh mục riêng biệt — signed agents (các tác nhân đã ký). Đây là các bot được điều khiển bởi người dùng cuối, không phải một tập đoàn: nền tảng hoặc trình duyệt từ xa, nơi tác nhân hoạt động, ký các yêu cầu HTTP của nó, và Cloudflare xác thực các chữ ký. Nhóm đầu tiên bao gồm ChatGPT agent (OpenAI), Goose (Block), Browserbase, Anchor Browser và Cloudflare Browser Rendering. Daube Osinga từ Block đã mô tả lợi ích một cách rõ ràng: "Web Bot Auth cho phép các trang web tin tưởng vào Goose, giữ lại những gì làm cho nó trở nên độc đáo".
Sự khác biệt chính: tác nhân đã ký hoạt động thay mặt cho con người (một trợ lý giả định, người truy cập vào trang web theo yêu cầu của bạn), trong khi "crawlers tìm kiếm" hoặc "crawlers huấn luyện" làm việc cho công ty. Cloudflare đã phân loại những thực thể này trong các quy tắc bảo mật — và chính sự phân chia này sẽ xác định ai sẽ được mở cửa trong web năm 2026–2027, và ai thì không.
Điều này có nghĩa là gì đối với việc thu thập dữ liệu và proxy
Nhìn bề ngoài có vẻ như chữ ký ký số sẽ chấm dứt việc thu thập dữ liệu ẩn danh. Thực tế thì phức tạp hơn — web đang phân chia thành hai làn đường, và điều này thay đổi chiến thuật cho khán giả của chúng ta, chứ không hủy bỏ nó.
- Làn đường của các tác nhân đã ký. Một lối đi hẹp, được ưu tiên cho các nền tảng lớn và các trợ lý "người dùng" trong danh sách trắng. Để vào được đó, cần có khóa riêng, thư mục JWKS công khai, đăng ký với CDN và tuân thủ các chính sách. Đối với một dự án thu thập dữ liệu điển hình, trang trại chống phát hiện hoặc tự động hóa SMM, con đường này đã bị đóng lại: bạn không phải là Google và không phải là OpenAI, bạn sẽ không nhận được chữ ký.
- Làn đường của tất cả những người khác. Ở đây vẫn có các scraper độc lập, giám sát giá cả, thu thập dữ liệu, đa tài khoản. Và chính ở đây, cược vào chất lượng proxy và độ tin cậy của dấu vân tay tăng lên. Khi "các hợp pháp" được cho phép qua chữ ký, thì tất cả lưu lượng không có chữ ký sẽ bị xử lý nghiêm ngặt hơn theo mặc định.
Nói cách khác, Web Bot Auth không tiêu diệt nhu cầu về proxy — nó nâng cao tiêu chuẩn cho những ai không nằm trong danh sách trắng. Nếu trước đây có thể hy vọng vượt qua bằng User-Agent xám, thì giờ đây yêu cầu không có chữ ký ngay lập tức rơi vào danh mục "chứng minh rằng bạn là người sống". Và điều này được chứng minh bằng sự kết hợp giữa IP sạch và hành vi hợp lý.
Tại sao IP dân cư và di động trở nên quý giá hơn
Khi chữ ký không khả dụng, cách duy nhất để trông hợp pháp là không khác biệt so với người dùng thông thường. Địa chỉ từ trung tâm dữ liệu không giải quyết được nhiệm vụ này: theo các phép đo khác nhau, Cloudflare chỉ cho phép IP trung tâm dữ liệu trong khoảng 40–60% trường hợp, trong khi proxy dân cư có tỷ lệ thành công trong khoảng 85–99%. Nguyên nhân chính là địa chỉ dân cư thuộc về nhà cung cấp internet thực và một thuê bao sống — theo danh tiếng của IP, không thể phân biệt nó với một người đang ngồi sau cùng một bộ định tuyến.
Tình hình còn nghiêm trọng hơn với các nền tảng bảo mật nhất và các ứng dụng di động, nơi mà mạng di động đóng vai trò quan trọng. Ở đây, proxy di động trở nên hữu ích: dưới một IP của nhà mạng có hàng ngàn thuê bao sống, vì vậy việc chặn địa chỉ như vậy hàng loạt có nghĩa là cắt đứt khách hàng thực. Chính hiệu ứng "nồi chung" này làm cho IP di động trở thành loại tiền tệ bền vững nhất trong thế giới mà mọi thứ khác đều bị soi xét.
Nhưng IP sạch đã không còn đủ. Khi việc kiểm tra danh tính chuyển từ mạng sang ký số, toàn bộ đội quân bot không có chữ ký phải trải qua dấu vân tay hành vi và trình duyệt: TLS/JA4, canvas, WebGL, phông chữ, thời gian. Proxy loại bỏ một tín hiệu cảnh báo (danh tiếng của địa chỉ), nhưng không hủy bỏ các tín hiệu khác. Cặp làm việc của năm 2026 — IP dân cư hoặc di động cộng với môi trường chống phát hiện với dấu vân tay đồng nhất. Một thành phần mà không có thành phần kia sẽ tiết lộ bot ngay từ cấp độ bảo vệ đầu tiên.
Cách hành động ngay bây giờ
- Phân chia các dự án theo làn đường. Nếu nhiệm vụ là tích hợp chính thức từ phía một sản phẩm lớn, hãy nghiên cứu con đường của tác nhân đã ký: đăng ký với CDN và nhận khóa. Đối với tất cả những thứ khác, hãy lập kế hoạch làm việc trong "làn đường của tất cả những người khác" và thiết lập các quy tắc của nó.
- Đầu tư vào chất lượng IP, không phải số lượng. Các nhóm trung tâm dữ liệu giá rẻ vào năm 2026 ngày càng trở thành yếu tố ngăn cản. Hãy đặt cược vào các địa chỉ dân cư và di động với sự luân chuyển phù hợp với nhiệm vụ.
- Đồng bộ hóa dấu vân tay với mạng. IP từ một quốc gia, trong khi ngôn ngữ trình duyệt, múi giờ và ngôn ngữ địa phương lại từ quốc gia khác — đây là một thất bại cổ điển. Dấu vân tay phải nhất quán với vị trí địa lý của proxy.
- Theo dõi tiêu chuẩn. Đến tháng 8 năm 2026, IETF dự kiến sẽ hoàn thiện đặc tả. Ngay khi Web Bot Auth trở thành điều kiện bắt buộc để truy cập vào một nền tảng cụ thể, chiến thuật cho nó sẽ phải được xem xét trước, chứ không phải sau.
Kết luận
Web Bot Auth không phải là một công cụ chống bot khác, mà là sự thay đổi trong logic niềm tin trên web: từ "bạn là ai theo IP" đến "chứng minh bằng ký số, bạn là ai". Đối với các gã khổng lồ như Google và OpenAI, đây là vé vào internet đang đóng cửa. Đối với các scraper độc lập và các dự án đa tài khoản, đây là tín hiệu rằng các phương pháp xám đã hoàn toàn không còn hiệu quả, và khoảng cách giữa "trông như một người" và "trông như một bot" trở thành yếu tố quyết định. Người chiến thắng trong thực tế mới sẽ không phải là người có nhiều IP, mà là người có địa chỉ dân cư hoặc di động sạch và dấu vân tay hoàn hảo. Chữ ký ký số không được cấp cho tất cả — có nghĩa là, tất cả những người khác sẽ phải thuyết phục hơn.