2026년 8월 26일 구글이 공식적으로 확인했습니다: 검색 결과의 링크가 더 이상 사이트로 직접 연결되지 않습니다. HTML의 페이지 주소 대신 google.com/goto?url=... 형식의 리디렉션이 암호화된 토큰과 함께 있습니다. 이 이야기에서 가장 불쾌한 점은 변경된 링크가 모든 사용자에게 전달되지 않는다는 것입니다. 일반 사용자는 브라우저에서 직접 URL을 볼 수 있습니다. 구글이 이미 자동화로 간주한 사용자에게만 숨겨집니다.
무슨 일이 일어났는가
첫 번째 신호는 2026년 6월 23일에 나타났으며, 알렉스 그린랜드가 주목했습니다. 7월 2일에는 브로디 클락이 이 현상을 대규모로 기록했습니다. 그리고 8월 26일, 노즐(Nozzle) 위치 추적 플랫폼의 CEO인 데릭 퍼킨스가 거의 완전한 롤아웃을 보고했으며, 구글은 공식적으로 변경 사항을 확인했습니다.
회사의 대변인이 Search Engine Roundtable에 전한 표현은 매우 일반적이었습니다: 구글은 "진화하는 남용 형태에 대한 기술적 조치를 오랜 역사를 가지고 있으며", 회사는 "자신의 서비스와 사용자를 보호하기 위해 정기적으로 조치를 취한다"고 밝혔습니다. 구체적으로 어떤 것을 남용으로 간주하는지는 언급되지 않았습니다.
메커니즘은 간단하지만 고통스럽습니다. 이전에는 결과의 마크업에 준비된 주소가 있었고, 파서는 이를 제목과 스니펫과 함께 한 번의 요청으로 가져갔습니다. 이제는 구글의 중간 리디렉션 링크가 있으며, 내부에는 protobuf 토큰이 있습니다: CAES 접두사가 붙은 base64 문자열 뒤에 암호화된 페이로드가 따라옵니다. 이를 자신의 쪽에서 해독하는 것은 불가능합니다 — 키가 없기 때문입니다. 링크가 어디로 연결되는지 아는 유일한 방법은 그 링크를 따라가는 것입니다.
문제를 정의하는 세 가지 세부 사항
- 토큰은 일회용입니다. 동일한 요청에 대해 같은 페이지의 동일한 링크는 매번 새로운 토큰을 받습니다. "토큰 → URL" 사전을 구축하고 재사용하는 것은 불가능합니다.
- HEAD 요청은 도움이 되지 않습니다. HEAD 요청은 Location 헤더 없이 200을 반환합니다 — 즉, 목적지 주소 없이. 완전한 GET 요청이 필요하며, 이는 약 59ms의 중간 지연으로 302를 반환합니다.
- 유기적 핵심만 영향을 받는 것이 아닙니다. 숨겨진 주소는 일반 결과, 비디오, AI 개요 소스, "유사 질문" 블록 및 광고(
aclk주소)에서도 발견됩니다. Growtika의 연구에서는 8개의 요청에 대해 493개의 링크를 분석했으며, 각 링크의 목적지가 숨겨져 있었습니다.
산술적으로 불쾌한 결과가 나옵니다. 퍼킨스의 추정에 따르면, 하나의 요청에 대해 다섯 페이지의 모든 링크를 해결하려면 500에서 1000개의 요청이 필요합니다. 독립적인 측정인 scraping.club은 중복 제거 후 더 겸손한 295–565를 제공하지만, 여전히 이전의 한 요청보다 두 배 이상 많습니다.
퍼킨스의 핵심 인용구는 숫자보다 이 변화의 본질을 더 잘 설명합니다: 연결 제한은 대역폭이나 저장소가 아니라 비율 제한이 됩니다.
왜 이것이 자동화에 대한 타격인가
여기서 가장 흥미로운 점이 있습니다. scraping.club의 관찰에 따르면, 링크의 변경은 보편적이지 않습니다: 일반 사용자 — 로그인된 사용자 또는 인코그니토 모드에서 — 여전히 직접 URL을 받습니다. 리디렉션은 자동화된 클라이언트에게 안정적으로 전달됩니다: --remote-debugging-port와 같은 플래그를 사용하여 브라우저를 실행하는 스크립트와 완전 자동화된 헤드리스 스택에 전달됩니다.
여러분이 파서를 다시 작성하기 전에 인식해야 할 실용적인 결론은 응답에 goto 링크가 나타나는 것은 진단 신호입니다. 이는 구글이 이미 여러분의 클라이언트를 봇으로 분류했음을 의미합니다. 여러분은 새로운 형식의 결과를 마주한 것이 아니라, 감지된 사용자를 위한 결과가 어떻게 보이는지를 보았습니다. 가장 먼저 수정해야 할 것은 링크 파서가 아니라, 여러분이 사람과 구별되는 기준입니다: 실행 플래그, 헤더의 순서, TLS 지문, 페이지의 행동. 우리는 이러한 자기 점검 방법론을 사이트의 스크립트를 통해 감지 카드를 제거하는 방법에 대한 자료에서 다루었습니다.
흥미로운 세부 사항은 구글의 리디렉션 해석이 거의 보호되지 않는다는 것입니다. scraping.club의 측정에 따르면, 링크를 따라가기 위해 프록시, 특별한 헤더 또는 TLS 임퍼소네이션이 필요하지 않습니다 — 일반 requests 라이브러리가 조작된 Chrome보다 나쁘지 않으며, 작은 볼륨에서는 110개 이상의 요청을 초당 처리할 수 있습니다. 즉, 장벽은 암호학적이지도 네트워크적이지도 않습니다. 이는 볼륨에 대한 세금입니다: 여러분은 차단되지 않으며, 단지 요청에 대한 요금이 부과됩니다.
연속적인 두 번째 타격
이 변화는 이전과 분리하여 읽어서는 안 됩니다. 2025년 9월 12일부터 14일 사이에 구글은 &num=100 파라미터를 비활성화하여 한 페이지에 100개의 결과를 반환했습니다. 이후 동일한 깊이의 결과를 얻기 위해서는 약 10배 더 많은 요청이 필요하게 되었습니다.
그 결과는 파싱을 넘어 멀리까지 영향을 미쳤습니다. Search Engine Land에서 분석한 319개의 속성에 따르면, 87.7%의 사이트가 Search Console에서 노출을 잃었고, 77.6%는 일부 고유한 순위 요청을 잃었습니다. 실제 트래픽은 변하지 않았습니다 — 측정이 깨졌습니다: 먼 위치에서의 "노출"의 대부분은 사람들이 아닌, 100개의 결과를 끌어오는 트래커에 의해 생성되었습니다.
두 단계를 합치면: 먼저 결과의 요청 수가 10배 증가했으며, 이제 각 결과에 대해 주소를 요청하기 위한 개별 요청이 추가되었습니다. 전략은 분명합니다 — 구글은 체계적으로 자신의 결과를 산업적으로 수집하는 비용을 높이고 있습니다.
법적 배경도 주목할 만합니다. 기술적 조치는 법적 경로가 실패했을 때 바로 시행되었습니다: 구글이 SerpApi에 대해 제기한 DMCA 소송은 기각되었습니다 — 법원은 저작물 보호와 공개 사실에 대한 접근 규제 사이의 경계를 설정하며, 사실과 URL은 저작물이 아니라고 밝혔습니다. 이 결정의 세부 사항과 그 결과는 구글과 SerpApi 간의 사건에 대한 별도의 자료에서 다루었습니다. 금지할 수는 없었지만, 비용을 높일 수는 있었습니다.
현재 보고서에서 깨지는 것들
DemandSphere 플랫폼은 아무런 조치를 취하지 않을 경우 발생하는 구체적인 고장 목록을 나열했습니다:
- 목적지 도메인이 google.com으로 축소됩니다. 파서는 마크업에서 보는 것을 정직하게 기록하며, 모든 결과가 "구글 소속"이 됩니다.
- 자체 페이지의 매칭이 깨집니다. 시스템은 여러분의 URL을 인식하지 못하고, 여러분이 결과에서 제외되었다고 판단합니다.
- 경쟁자의 투표 비율과 귀속이 흐트러집니다 — 더 이상 셀 수 있는 것이 없으며, 모든 링크가 동일한 도메인에 있습니다.
- 역사적 연속성이 롤아웃 날짜에 정확히 끊어집니다. 이것이 가장 교활한 점입니다: 그래프는 실제로는 없었던 붕괴를 보여줄 것입니다.
좋은 소식은: 순수한 위치 데이터는 덜 영향을 받습니다. DataForSEO는 2026년 7월 5일에 99.99%의 유기적 결과가 이미 직접 주소로 반환된다고 보고했습니다. 문제는 결과 블록에 집중되어 있습니다 — Growtika의 추정에 따르면, goto 링크는 AI 개요의 약 절반과 지역 블록의 4분의 1에 남아 있습니다. 즉, 오늘날 가장 중요한 것인 AI 응답의 출처와 지역 결과가 영향을 받습니다.
수집 방식을 재구성하는 방법
모든 것을 고려한 엔지니어링 결론은 수집을 요청 비용이 다른 두 개의 층으로 나누는 것입니다.
- 먼저, 여러분이 감지되었는지 확인하세요. 동일한 결과를 여러분의 파서와 순수한 브라우저에서 수동으로 가져옵니다. 수동 실행에서 직접 링크가 나오고 자동 실행에서 goto가 나타난다면, 이는 여러분의 위장에 대한 선고이며 구글의 특성이 아닙니다.
- 결과 수집과 링크 해석을 분리하세요. 첫 번째 층은 무겁습니다: 렌더링, 행동의 신뢰성, 품질 높은 IP. 두 번째는 302에 대한 단순한 GET 요청으로, 브라우저 없이 임퍼소네이션 없이 진행됩니다. 동일한 비싼 스택을 통해 해석을 진행하는 것은 예산을 낭비하는 것입니다.
- 기가바이트가 아니라 요청 수를 계산하세요. 병목 현상이 요청 수로 이동했습니다. 필요한 RPS에 따라 주소 풀을 계획하고, 트래픽 양이 아니라 요청 수에 따라 계획하세요.
- 토큰을 캐시하려고 하지 마세요. 그것들은 일회용입니다. 캐시할 가치가 있는 것은 해석 결과 — "요청 + 위치 + 도메인"의 조합이며, 토큰 자체는 아닙니다.
- 역사 데이터에서 단절 날짜를 표시하세요. 2026년 8월 26일은 보고서에서 명확한 이정표로 표시되어야 하며, 그렇지 않으면 방법론적 오류가 가시성을 감소시키는 것으로 해석될 것입니다.
- 블록을 별도로 확인하세요. 유기적 결과는 이미 괜찮을 수 있지만, AI 개요와 지역 블록은 아닐 수 있습니다. 이들을 독립적인 개체로 테스트하세요.
어떤 프록시를 어디에 사용할 것인가
두 층으로 나누는 것에서 인프라를 나누는 것도 따라오며 — 이는 모든 것을 하나의 풀을 통해 처리하는 것보다 훨씬 저렴합니다.
결과 수집은 가장 민감한 부분입니다. 여기서는 일반 사용자와 차별화되지 않는 것이 중요하며, 바로 이 층이 여러분이 직접 링크를 볼 수 있을지 아니면 goto를 볼지를 결정합니다. 이를 위해 주거용 프록시를 사용하고, 지역 결과와 같은 지리적 의존성이 있는 작업에는 특정 지역에 대해 IP가 완전히 자연스럽게 보이는 모바일 프록시를 사용합니다.
하지만 리디렉션 해석은 측정에 따르면 특별한 요구 사항이 없습니다: 일반 GET 요청, 임퍼소네이션 없이, 높은 속도. 이는 데이터 센터 프록시에 대한 전형적인 작업입니다 — 저렴하고, 빠르며, 많은 병렬 흐름을 처리할 수 있습니다. 500–1000개의 추가 요청이 결과 요청에 대해 발생할 때 두 접근 방식 간의 비용 차이는 예산의 결정적인 항목이 됩니다.
결론
구글은 결과에 대한 접근을 차단하지 않았습니다 — 오히려 비용을 높였고 응답 형식을 감지의 지표로 바꾸었습니다. 이는 시장에 대해 &num=100 비활성화로 시작된 방향을 계속 이어간다는 것을 의미합니다: 대규모 검색 데이터 수집은 기본적으로 저렴하지 않게 되고, 명확한 경제성을 가진 엔지니어링 작업이 됩니다.
실질적인 결론은 두 가지로 요약됩니다. 만약 여러분이 goto 링크를 본다면 — 파서가 아니라 위장부터 시작하세요: 아마도 수리해야 할 것은 보이는 것과 다를 수 있습니다. 만약 위장이 괜찮고 리디렉션이 여전히 존재한다면 — 수집 층을 분리하고 필요 없는 요청에 대해 프리미엄 가격을 지불하지 마세요.
```