Google ngừng hỗ trợ Custom Search API: cách thu thập kết quả tìm kiếm năm 2027

Google ngày càng ít "cửa hợp pháp" để truy cập vào kết quả tìm kiếm của mình. Custom Search JSON API sẽ không còn mở cho khách hàng mới và sẽ ngừng hoạt động hoàn toàn vào ngày 1 tháng 1 năm 2027, và từ ngày 13 tháng 9 năm 2026, tỷ lệ các yêu cầu bị chặn đã tăng đáng kể đối với các dịch vụ tự thu thập kết quả. Đối với các đội SEO, các nhà tổng hợp, giám sát giá cả và các tác nhân AI với tìm kiếm web, điều này có nghĩa là: trước cuối năm, bạn cần quyết định từ đâu bạn sẽ lấy kết quả Google vào năm 2027.

Điều gì đã xảy ra: hai tin tức trong một tháng

API chính thức chỉ còn ba tháng nữa

Google đã thông báo về việc đóng cửa Custom Search JSON API từ ngày 20 tháng 1 năm 2026, nhưng đối với hầu hết các đội, thời hạn này chỉ mới bắt đầu cảm nhận gần đây. Trên trang tài liệu, rõ ràng đã nói: API đã đóng cho khách hàng mới, và những khách hàng hiện tại có thời gian đến ngày 1 tháng 1 năm 2027 để chuyển sang giải pháp thay thế.

Trước ngày này, các điều kiện cũ vẫn áp dụng:

• 100 yêu cầu miễn phí mỗi ngày;
• sau đó là $5 cho 1000 yêu cầu;
• trần - 10.000 yêu cầu mỗi ngày.

Đây là cách chính thức rẻ nhất và đơn giản nhất để nhận kết quả tìm kiếm dưới dạng JSON. Các nhà phát triển trên các diễn đàn Google đã phàn nàn về lỗi 403 khi API được bật, thanh toán hoạt động và hạn mức chưa được sử dụng, vì vậy một số người đã gặp phải tình trạng API thực sự ngừng hoạt động trước cả ngày chính thức.

Các công cụ thu thập dữ liệu bị chặn mạnh hơn

Vào ngày 18 tháng 9, Search Engine Roundtable đã thu thập tín hiệu từ các nhà điều hành công cụ SEO. Derek Perkins từ Nozzle cho biết, từ khoảng ngày 13 tháng 9, hầu hết các nỗ lực lấy dữ liệu từ Google Search đều bị chặn: khối lượng dữ liệu thu thập đã giảm khoảng 80%. Theo lời ông, tình hình tương tự cũng xảy ra với dữ liệu từ DataForSEO. Steve Payne từ Sistrix viết rằng Google đã liên tục thay đổi cách trả kết quả trong khoảng một năm qua, và hiện tại tốc độ thay đổi rất cao, và việc thu thập dữ liệu của họ đang diễn ra với tốc độ giảm.

Glenn Gabe đã so sánh dữ liệu từ các công cụ theo dõi với lưu lượng truy cập thực tế của các trang web: Ahrefs đã phục hồi tốt nhất, Semrush cho thấy sự phục hồi với độ trễ, Sistrix thì rõ ràng bị tụt lại. Không có bình luận chính thức từ Google.

Tại sao đây không phải là sự trùng hợp, mà là một xu hướng

Nếu sắp xếp các sự kiện theo thứ tự, chính sách liên tục hiện ra: trước tiên là làm tăng chi phí thu thập tự động, sau đó là đóng cửa quyền truy cập chính thức rẻ tiền.

1. Tháng 1 năm 2025. Google đã thắt chặt bảo mật cho kết quả tìm kiếm, Semrush, SE Ranking và các công cụ theo dõi khác đã gặp phải sự cố dữ liệu.
2. Tháng 9 năm 2025. Tham số &num=100 đã biến mất, điều này cho phép nhận 100 kết quả trên một trang. Để thu thập cùng một độ sâu, cần nhiều yêu cầu hơn rất nhiều.
3. Tháng 1 năm 2026. Đã thông báo về việc đóng cửa Custom Search JSON API.
4. Tháng 8 năm 2026. Các liên kết trong kết quả tìm kiếm cho các khách hàng tự động đã được thay thế bằng các chuyển hướng mã hóa google.com/goto. Chúng tôi đã phân tích chi tiết, cách các liên kết goto phá vỡ báo cáo của các công cụ theo dõi và chi phí để giải mã chúng.
5. Tháng 9 năm 2026. Một làn sóng mới các chặn thu thập bắt đầu từ ngày 13 tháng 9.

Microsoft đã đi con đường này trước: vào ngày 11 tháng 8 năm 2025, họ đã hoàn toàn tắt bộ Bing Search API (web, hình ảnh, tin tức, video, Tìm kiếm Tùy chỉnh và các dịch vụ khác) và đề xuất thay thế bằng Grounding with Bing Search trong Azure AI Agents. Đây không còn là kết quả dưới dạng JSON, mà là ngữ cảnh cho câu trả lời LLM. Hai công cụ tìm kiếm lớn nhất ngừng bán kết quả thô cho tất cả những ai muốn.

Google đề xuất gì thay thế

Có ba lựa chọn chính thức, và không lựa chọn nào là thay thế "một đổi một".

• Vertex AI Search. Google khuyến nghị nó cho việc tìm kiếm trên các trang web trong phạm vi 50 miền. Đây là sản phẩm doanh nghiệp cho việc tìm kiếm trên chỉ mục riêng của bạn, nó không trả về kết quả công khai của Google.
• Search Element. Widget tìm kiếm miễn phí cho trang web, với cùng các hạn chế đến 50 miền. Không phù hợp cho việc thu thập kết quả tự động.
• Web Search Service API. Vào ngày 11 tháng 9, Search Engine Journal đã phát hiện tài liệu về API "tìm kiếm web hoàn chỉnh" mới. Nó trả về JSON qua REST hoặc gRPC, tối đa 20 kết quả cho mỗi yêu cầu, nhưng yêu cầu một dự án Google Cloud, khóa API và ID khách hàng gắn liền với thỏa thuận đối tác. Trong mỗi yêu cầu, cần phải truyền IP của người dùng. Cách trở thành đối tác, chi phí là bao nhiêu và các giới hạn, tài liệu không đề cập. Chính thức, Google chỉ đề nghị điền vào mẫu quan tâm.

Nói ngắn gọn: cho một dự án nhỏ với tìm kiếm trên một vài trang web, có giải pháp. Đối với các nhiệm vụ "biết Google hiển thị gì cho yêu cầu X ở quốc gia Y", sẽ không có con đường rẻ chính thức nào sau ngày 1 tháng 1.

Ai sẽ bị ảnh hưởng nhiều nhất

• Các kịch bản SEO nội bộ. Nhiều đội đã kiểm tra vị trí hoặc chỉ mục thông qua CSE: 10.000 yêu cầu mỗi ngày đủ cho một nhóm nhỏ từ khóa. Từ năm 2027, mã này sẽ bắt đầu nhận lỗi.
• Các tác nhân AI và các pipeline RAG, nơi tìm kiếm web đã được kết nối qua Custom Search như là "Google chính thức" dễ tiếp cận nhất.
• Giám sát thương hiệu và nội dung: tìm kiếm các đề cập, bản sao văn bản, miền lừa đảo qua các yêu cầu trong Google.
• Người dùng các nền tảng SEO. Các công cụ thu thập buộc phải thực hiện nhiều yêu cầu hơn cho cùng một khối lượng dữ liệu, và chi phí cuối cùng được chuyển sang đăng ký. Vào tháng 9, nhiều người còn gặp phải các lỗ hổng trong biểu đồ vị trí.

Phải làm gì trước ngày 1 tháng 1: bốn con đường

1. Kiểm tra xem bạn có cần kết quả của Google hay không

Bắt đầu với việc kiểm tra: nơi nào trong mã gọi customsearch/v1 và tại sao. Thường thì CSE được sử dụng để tìm kiếm trên trang web của riêng bạn hoặc một vài miền, và trong trường hợp đó, Vertex AI Search hoặc Search Element sẽ giải quyết được vấn đề. Nếu bạn cần chính xác vị trí trong Google, con đường này không phù hợp.

2. API SERP bên thứ ba

Giải pháp di chuyển nhanh nhất: nhà cung cấp sẽ chịu trách nhiệm về các chặn, captcha và phân tích HTML, bạn nhận được JSON. Giá trên thị trường rất khác nhau. Theo so sánh mà chính nhà cung cấp SERP cloro công bố (tức là không phải là một benchmark độc lập), giá dao động từ khoảng $1–2 đến $12 cho 1000 yêu cầu với 10 kết quả. Nhược điểm - phụ thuộc vào cơ sở hạ tầng của bên khác: làn sóng chặn vào tháng 9 cho thấy rằng nhà cung cấp bán dữ liệu cho người khác cũng có thể bị ảnh hưởng.

3. Tự xây dựng công cụ thu thập trên proxy

Cung cấp kiểm soát về địa lý, tần suất và định dạng dữ liệu, nhưng yêu cầu công việc kỹ thuật và tuân thủ các quy tắc. Google trong các chính sách của mình cấm các yêu cầu tự động đến tìm kiếm mà không có sự cho phép, vì vậy giải pháp này có rủi ro pháp lý và hoạt động có ý thức, chứ không phải là "thay thế miễn phí cho API". Nếu bạn đi theo con đường này:

• đối với các yêu cầu đến kết quả tìm kiếm, hãy sử dụng IP trông giống như người dùng bình thường: proxy dân cư với lựa chọn quốc gia và thành phố hoặc di động cho các kịch bản nhạy cảm nhất. Địa chỉ từ trung tâm dữ liệu mà Google nhận diện nhanh nhất;
• gắn địa lý IP với các tham số yêu cầu (gl, hl, vị trí). Kết quả được cá nhân hóa theo vị trí, và sự không khớp giữa IP và các tham số sẽ cho ra "kết quả không đúng";
• giữ cho các yêu cầu giống như yêu cầu từ trình duyệt: render thực tế hoặc TLS và tiêu đề chính xác, khoảng dừng, tần suất vừa phải cho mỗi IP;
• đối với lưu lượng bổ sung không đi đến google.com (tải xuống các trang đã tìm thấy, kiểm tra chuyển hướng), các proxy từ trung tâm dữ liệu rẻ hơn là đủ. Đừng lãng phí lưu lượng dân cư ở những nơi mà bảo mật không yêu cầu;
• đo lường tỷ lệ phản hồi thành công theo ngày. Nếu nó giảm mạnh, như vào ngày 13 tháng 9, hãy dừng việc thu thập và tìm hiểu nguyên nhân, thay vì tăng tần suất: đây là cách nhanh nhất để "đốt cháy" nguồn dữ liệu.

Khía cạnh thực tiễn của việc thu thập - render, phân tích các khối AI Overviews, lựa chọn địa lý - đã được mô tả trong hướng dẫn thu thập kết quả Google với AI Overviews.

4. Thay đổi nguồn sự thật cho các vị trí

Đối với các trang web của riêng bạn, bạn có dữ liệu không phụ thuộc vào các công cụ thu thập: Google Search Console cung cấp các vị trí trung bình, hiển thị và nhấp chuột cho các yêu cầu thông qua API miễn phí. Kiểm tra của Glenn Gabe cho thấy rõ lý do tại sao điều này quan trọng: các công cụ theo dõi vào tháng 9 đã không đồng nhất với nhau, trong khi lưu lượng thực tế vẫn là điểm tham chiếu. Sử dụng Search Console như một tiêu chuẩn, và các công cụ theo dõi bên ngoài cho các đối thủ và những yêu cầu mà bạn vẫn chưa có hiển thị.

Làm thế nào để hiểu rằng sự sụt giảm trong báo cáo không phải là vấn đề của bạn

Nếu sau ngày 13 tháng 9, trong công cụ theo dõi thấy sự sụt giảm mạnh về vị trí hoặc lỗ hổng trong dữ liệu, trước khi thay đổi trang web:

1. so sánh ngày sụt giảm với Search Console: nếu ở đó hiển thị và nhấp chuột đều, vấn đề nằm ở việc thu thập, không phải ở xếp hạng;
2. kiểm tra xem tất cả các từ khóa có bị ảnh hưởng ngay lập tức không. Sự sụt giảm đồng thời của hàng trăm yêu cầu thường chỉ ra sự cố thu thập;
3. kiểm tra trang trạng thái và blog của công cụ SEO của bạn: hầu hết các nhà cung cấp công bố thông báo về các vấn đề thu thập;
4. đừng đưa ra kết luận chỉ dựa trên một công cụ - vào tháng 9, Ahrefs, Semrush và Sistrix đã phục hồi với tốc độ khác nhau.

Kết luận

Google đang liên tục đóng cửa quyền truy cập rẻ vào kết quả: trước tiên là num=100, sau đó là các chuyển hướng goto, giờ là sự kết thúc của Custom Search API và làn sóng chặn mới. Có sự thay thế chính thức cho tìm kiếm web hoàn chỉnh, nhưng chỉ dành cho các đối tác và không có giá công khai. Trước ngày 1 tháng 1, bạn nên tìm trong mã tất cả các gọi CSE, quyết định xem bạn có cần kết quả của Google hay không, và chọn con đường: API SERP, công cụ thu thập của riêng bạn trên các proxy chất lượng cao hoặc Search Console như nguồn sự thật cho các trang web của bạn. Những ai trì hoãn việc di chuyển đến tháng 12 sẽ phải thực hiện nó trong sự vội vã, trong khi các công cụ theo dõi và nhà cung cấp tự điều chỉnh theo các quy tắc mới.