Web scraping đại lý - sự chuyển mình chính của mùa hè 2026. Chỉ một năm trước, việc tạo ra một trình phân tích có nghĩa là phải viết tay các bộ chọn CSS, phân tích phân trang và sửa mã sau mỗi lần thiết kế lại trang web. Giờ đây, chỉ cần cung cấp cho đại lý AI một liên kết và mục tiêu bằng lời: "thu thập tên và giá sản phẩm từ trang web này" - và nó tự động duyệt qua các trang, nhận diện cấu trúc và tạo ra một trình thu thập hoàn chỉnh. Vào đầu tháng 6 năm 2026, Bright Data đã công khai trình diễn một đại lý như vậy: thông qua URL và nhiệm vụ văn bản, nó khám phá trang web, tìm các trường như tên, giá và bộ chọn, sau đó xuất ra một trình thu thập Python hoàn chỉnh. Các quy trình trước đây mất hàng giờ và hàng ngày giờ chỉ mất vài phút.
Tuy nhiên, cuộc cách mạng này có một mặt trái mà các video marketing không đề cập đến: việc viết trình phân tích trở nên dễ dàng, nhưng khởi động chúng vẫn khó khăn. Đại lý gặp phải bức tường giống như một kịch bản thông thường: phát hiện qua IP, dấu vân tay TLS và hành vi. Hãy cùng phân tích những gì thực sự đã thay đổi, nơi nào là ranh giới mới và tại sao trong kỷ nguyên đại lý, proxy không biến mất mà trở nên quan trọng hơn.
Điều gì đã thay đổi: đại lý so với kịch bản
Trình thu thập cổ điển tuân theo một hướng dẫn nghiêm ngặt: truy cập địa chỉ, lấy giá trị theo bộ chọn, lật trang. Nó sẽ bị hỏng khi có bất kỳ thay đổi nào trong bố cục. Đại lý AI hoạt động khác — nó "quan sát trang, suy luận về cấu trúc của nó và quyết định cách thu thập dữ liệu một cách động." Khi bố cục thay đổi, đại lý tự động điều chỉnh logic thu thập mà không cần sửa đổi thủ công.
Các con số giải thích sự hào hứng. Theo dữ liệu từ nghiên cứu của Đại học McGill, các phương pháp AI duy trì 98,4% độ chính xác ngay cả khi cấu trúc trang thay đổi, và thời gian cấu hình giảm từ hàng tuần xuống còn vài giờ. Trong một trường hợp doanh nghiệp, công ty đã thay thế 15 trình thu thập thủ công bằng một hệ thống AI duy nhất: độ chính xác tăng từ 71% lên 96%, và chi phí năm đầu tiên giảm từ 4,1 triệu xuống còn 270 nghìn đô la. Cấu trúc công việc cũng thay đổi: nếu trước đây 20% thời gian dành cho phát triển và 80% cho hỗ trợ, thì theo đánh giá của Kadoa vào năm 2026, các đội giờ đây dành tới 95% thời gian để sử dụng dữ liệu, thay vì sửa chữa các trình phân tích.
Thị trường phản ứng bằng tiền. Phần mềm cho web scraping được định giá 1,03 tỷ đô la vào năm 2025 với dự báo lên tới 2,7 tỷ vào năm 2035 - và đây là chưa tính đến việc khoảng 70% các mô hình AI sinh ra được đào tạo chủ yếu trên dữ liệu được thu thập từ scraping. Dữ liệu là nhiên liệu cho AI, và các đại lý là máy bơm mới.
Các công cụ mới dưới nắp cap
Đằng sau cụm từ "AI tự viết trình phân tích" là những dự án cụ thể: các thư viện thu thập dựa trên ý định như ScrapeGraphAI và Crawl4AI, các nền tảng Apify và Firecrawl với các máy chủ MCP sẵn có. Các đại lý trong năm 2026 đã nhận bốn hình thức: các trình điều phối (LangChain, CrewAI, LangGraph), các đại lý hành động trình duyệt (Browser Use, Stagehand), Computer Use từ Claude và OpenAI, cũng như các trợ lý CLI như Claude Code và Gemini CLI. Các lớp vỏ khác nhau - một nhu cầu chung: truy cập đáng tin cậy vào các trang web trực tiếp.
MCP - tiêu chuẩn mới cho "ổ cắm" dữ liệu
Sự chuyển mình kỹ thuật chính của năm - Model Context Protocol (MCP). Đây là giao thức mà qua đó đại lý gọi các công cụ bên ngoài như các "ổ cắm" sẵn có: trình thu thập, trình phân tích, giải quyết captcha. Các nhà cung cấp cung cấp các máy chủ MCP, gửi cho đại lý các lệnh như scrape, extract và screenshot, và đại lý điều phối việc thu thập dữ liệu đa bước bằng ngôn ngữ tự nhiên - không cần XPath, bộ chọn CSS và nghiên cứu framework. Bright Data, Apify, Firecrawl và những người khác đã cung cấp các trình thu thập tương thích với MCP; các dây chuyền tự phục hồi tự chẩn đoán và sửa chữa lỗi khi trang web thay đổi.
Nghe có vẻ như là sự kết thúc của kỷ nguyên scraping thủ công. Trong thực tế, MCP chỉ chuyển độ phức tạp xuống một cấp độ thấp hơn. Như các kỹ sư đã nói một cách trung thực: "web scraping là lớp mang của bất kỳ đại lý nào liên quan đến các trang web trực tiếp". Và lớp mang giữ toàn bộ trọng lượng - bao gồm cả bảo vệ chống bot.
Đại lý gặp phải bức tường giống nhau
Trafik tự động hiện chiếm khoảng một nửa tất cả các yêu cầu trên internet, và bảo vệ đã tăng lên tương ứng. Cloudflare với quản lý bot của nó bảo vệ khoảng 20% web công cộng, DataDome tuyên bố đã chặn 99%+ trafik tự động không được phép trên các nền tảng của mình. Các hệ thống này hoàn toàn không quan tâm đến việc yêu cầu được gửi bởi con người, kịch bản hay đại lý thông minh nhất - chúng chỉ nhìn vào các tín hiệu.
Có năm tín hiệu, và chúng hoạt động theo các lớp:
- Danh tiếng IP - địa chỉ từ trung tâm dữ liệu và VPN ngay lập tức bị đánh dấu, trong khi các địa chỉ cư trú tồn tại lâu hơn.
- Dấu vân tay TLS (JA3/JA4) - các khách hàng HTTP như Python
requestscó chữ ký đặc trưng của quá trình bắt tay mà WAF nhìn thấy rõ ràng. - Dấu vân tay trình duyệt - Canvas, WebGL và các thuộc tính navigator tiết lộ chế độ headless.
- Hành vi - các yêu cầu đột ngột và thời gian không tự nhiên kích hoạt chặn.
- Captcha - các thử thách reCAPTCHA và hCaptcha dựa trên rủi ro.
Đây chính là cái bẫy của kỷ nguyên đại lý. Đại lý tạo ra mã một cách xuất sắc, nhưng vẫn sử dụng cùng một khách hàng trên mạng. Từ đó, có một quy tắc làm mất hiệu lực một nửa marketing: "proxy cư trú với dấu vân tay Python requests vẫn sẽ thất bại trên mục tiêu nhạy cảm với TLS". Cloudflare yêu cầu thực thi JavaScript và ngăn xếp TLS trình duyệt thực sự - các thư viện HTTP "trần" không hoạt động với nó về cơ bản. Tại sao phát hiện trở thành một trò chơi về danh tính, chứ không chỉ là IP, chúng tôi đã phân tích chi tiết trong tài liệu về JA4 và TLS-fingerprinting - các đại lý không hủy bỏ ranh giới này, mà chỉ làm cho nó trở nên rõ ràng hơn.
Thêm vào đó là một lớp quy định mới. Vào tháng 7 năm 2026, Cloudflare đã phân loại bot thành ba loại - search, agent và training - và từ ngày 15 tháng 9, mặc định chặn agent và training trên các trang có thể kiếm tiền. Điều này có nghĩa là ngay cả một trình phân tích được tạo ra hoàn hảo cũng sẽ gặp phải cánh cửa đóng trên một phần năm của web.
Tại sao proxy trong kỷ nguyên đại lý không biến mất mà lại trở nên đắt đỏ hơn
Kết luận có phần nghịch lý cho những ai đã chờ đợi rằng "AI sẽ tự làm mọi thứ": càng thông minh lớp trên (tạo mã), thì lớp dưới (truy cập mạng) càng trở nên quan trọng hơn. Chi phí truy cập rõ ràng qua mức giá thị trường cho 1000 trang: các mục tiêu đơn giản (blog, tài liệu) - gần như miễn phí; thương mại điện tử có độ phức tạp trung bình - 3–10 đô la; các mục tiêu khó khăn như LinkedIn và các trang web dưới Cloudflare - 8–20; những mục tiêu được bảo vệ nhất, với captcha, như Amazon - 15–30. Sự khác biệt không do đại lý tạo ra, mà do chất lượng hạ tầng truy cập: loại proxy, ngăn xếp trình duyệt thực tế, xoay vòng và hành vi.
Lựa chọn thực tế về proxy cho đại lý vẫn giữ nguyên, chỉ có mức cược cao hơn:
- Proxy cư trú - cơ sở cho các mục tiêu dưới Cloudflare/DataDome: các IP thực tế từ nhà ở vượt qua kiểm tra danh tiếng, trong khi trung tâm dữ liệu bị loại bỏ ngay lập tức.
- Proxy di động - các IP từ nhà mạng với độ tin cậy tối đa cho mạng xã hội và các aggregator, nơi danh tiếng quyết định mọi thứ.
- Proxy trung tâm dữ liệu - nhanh và rẻ cho các mục tiêu đơn giản và các nhiệm vụ lớn, nơi không có bảo vệ chống bot nghiêm ngặt: đừng lãng phí trafik cư trú đắt đỏ ở nơi mà trung tâm dữ liệu có thể đáp ứng.
Và một khoản chi phí riêng biệt mà các đại lý mang lại: các vòng lặp không kiểm soát. Khi đại lý "suy luận" và tự mình duyệt qua trang web, việc lặp lại trở thành động lực chính của chi phí chạy - nó có thể lướt qua các trang và tiêu tốn cả token của mô hình lẫn trafik proxy. Từ đó, thực tiễn: cung cấp cho các mô hình markdown thay vì HTML thô (ít token hơn), lưu trữ các phản hồi giữa các lần thu thập và giới hạn sâu sắc độ sâu duyệt.
Điều này có nghĩa là gì trong thực tế
Nếu bạn xây dựng việc thu thập dữ liệu trên các đại lý vào năm 2026, hãy nhớ bốn lớp độc lập, mỗi lớp đều có thể gặp sự cố riêng: tải ổn định, quan sát có cấu trúc, phiên làm việc bền vững và tích hợp công cụ. Đại lý đóng vai trò trên các lớp trên - hiểu biết về trang và tạo logic. Hai lớp dưới - mạng và danh tính - thuộc về bạn:
- Dẫn dắt đại lý qua trình duyệt thực (Playwright, Puppeteer), chứ không phải qua khách hàng HTTP trần - chỉ như vậy dấu vân tay TLS mới trùng khớp với Chrome thật sự.
- Chọn loại proxy theo mục tiêu, chứ không phải "cư trú cho mọi thứ": điều này sẽ cắt giảm ngân sách theo mức giá đã nêu ở trên.
- Để lại con người kiểm tra dữ liệu - vai trò đã chuyển từ sửa chữa các bộ chọn sang kiểm tra chất lượng, nhưng không biến mất.
- Đặt giới hạn cho độ sâu và các vòng lặp - nếu không, đại lý "thông minh" sẽ âm thầm tiêu tốn ngân sách trong việc duyệt vô tận.
Kết luận
Năm 2026 đã làm cho việc viết trình phân tích gần như miễn phí: đại lý AI chỉ cần một câu để xây dựng và sửa chữa dây chuyền, MCP đã biến các công cụ thu thập thành các "ổ cắm" tiêu chuẩn, và việc hỗ trợ mã không còn là nỗi đau chính. Nhưng việc phát hiện không biến mất - nó vẫn nhìn vào IP, TLS và hành vi, và đại lý cần phải vượt qua cùng một cánh cửa mà kịch bản đã gặp phải mười năm trước. Do đó, ranh giới thực sự của cạnh tranh đã chuyển xuống dưới: không phải ai có đại lý thông minh hơn sẽ thắng, mà là ai có danh tính sạch hơn và hạ tầng proxy phù hợp cho nhiệm vụ.