TL;DR

  • Google Search가 로그아웃 및 시크릿 모드 검색에서 유기적 결과 링크를 목적지 URL 대신 google.com/goto?url=... 형식으로 제공하며, 대규모 SERP 수집에는 추가적인 Google 요청이 필요해짐
  • 새로운 url= 값은 일반적인 Base64가 아닌 Google 고유 인코딩을 사용하며, 오프라인에서 목적지 URL로 디코딩할 수 없음
  • 실제 목적지 URL은 /goto 응답의 Location 헤더에 포함되며, 해당 URL을 요청하되 리디렉션을 따라가면 안 됨
  • 이 변화는 AI 크롤러와 SEO 스크레이퍼의 자동 SERP 수집 비용을 높이고, Google이 &num=100 제거와 BotGuard/SearchGuard 강화로 이어 온 흐름과 맞물림
  • Autom.dev가 Google Search 파이프라인에서 goto 링크를 해석해 기존 API 응답 필드에 최종 목적지 URL을 반환하도록 업데이트함

Google Search에서 발생한 변화

  • Google Search가 HTML에서 목적지 URL을 직접 노출하는 대신 유기적 결과 링크를 google.com/goto?url=... 형식으로 다시 작성함.
  • 결과를 클릭하면 Google이 실제 페이지로 리디렉션함.
  • url 매개변수는 Google 고유 인코딩을 사용하며, 대상 URL을 평문 Base64로 인코딩한 값이 아님.
  • 실제로는 Google 색인에서 해당 페이지를 가리키는 불투명한 참조값처럼 보임.
  • 2026년 8월 말 기준으로 로그아웃 상태나 시크릿 모드에서 검색할 때 이러한 패턴이 일관되게 나타남.
  • 아직 실험일 가능성은 있으나, 더 이상 소수의 검색 결과 페이지(SERP)에만 제한된 현상이 아님.

google.com/url과의 차이

  • Google은 과거에도 리디렉션 래퍼를 사용했으며, 이전 형식은 google.com/url?q=[URL-encoded destination]였음.
  • 이전 형식에서는 쿼리 문자열에서 대상 링크를 읽을 수 있었음.
  • 새로운 goto 형식의 특징은 다음과 같음.
  • 결과의 href가 목적지 URL이 아니라 /goto임.
  • url= 블롭을 오프라인에서 디코딩할 수 없음.
  • 실제 URL은 /goto의 Location 헤더에 있으며, 해당 URL을 요청하되 리디렉션을 따라가면 안 됨.
  • Google은 SERP를 그리기 위해 도메인, 파비콘, 출처 표시 등의 목적지 정보를 여전히 필요로 하므로 URL 사본이 페이지에 남아 있음.
  • 페이지에서 URL 사본을 읽는 문제와 Location 헤더를 읽는 문제는 별개의 사안임.
  • 관련 안내는 google.com/goto: read Location with HEAD에 있음.
  • 이러한 변화는 SERP 데이터를 대규모로 수집해 검색 색인을 구축하는 작업에 영향을 줌.

Google이 이 방식을 도입하는 이유

  • 이번 변화는 AI 크롤러와 SEO 스크레이퍼를 비롯한 자동화된 SERP 수집에 대한 Google의 광범위한 대응 흐름과 맞물림.
  • 평문 링크가 제공될 때는 스크레이퍼가 HTML에서 수천 개 URL을 추출하고 Google에 다시 요청하지 않아도 됨.
  • goto 방식에서는 각 결과의 목적지 URL을 확인하기 위해 Google에 요청을 추가로 보내야 함.
  • 이때 Location을 읽고 실제 페이지로는 리디렉션하지 않음.
  • 이러한 방식은 더 느리고 요청 흔적을 늘리며, 동일한 클라이언트가 수백 개 링크를 연속으로 해석할 때 Google에 명확한 신호를 제공함.
  • Google은 &num=100 제거와 BotGuard/SearchGuard 강화 같은 이전 조치와 함께 단순한 SERP 스크레이핑의 비용을 지속적으로 높이는 중임.

Autom에서 확인한 내용

  • 처음에는 소수의 SERP에서 goto 링크가 발견됨.
  • 당시에는 다른 응답에 문제를 일으키지 않으면서 신뢰할 수 있는 수정 사항을 배포하기 어려웠음.
  • 2026년 8월 말 기준으로 로그아웃 세션과 시크릿 세션에서 패턴이 훨씬 일관되게 나타남.
  • 해당 조건에서 Google Search의 결과 URL은 사실상 모두 goto 형식임.
  • Autom은 Google의 적용 현황을 모니터링하고 대응 테스트를 진행 중임.

Autom.dev 업데이트

  • Autom이 Google Search 파이프라인을 업데이트해 google.com/goto 링크를 해석하고, Location을 읽되 리디렉션은 따라가지 않도록 구성함.
  • 최종 목적지 URL은 고객이 기존에 사용하던 구조화 필드와 동일한 API 응답 필드로 반환됨.
  • Autom의 Google Search 엔드포인트를 호출하는 경우 통합을 변경하지 않아도 계속 사용 가능한 목적지 URL을 받을 수 있음.
  • Google의 적용 범위를 계속 관찰하고 리디렉션 형식이 다시 바뀌면 조정할 예정임.

관련 읽을거리

  • google.com/goto: read Location with HEAD
  • Google killed num=100
  • Google sues SerpAPI: What SearchGuard reveals
  • Scraping SERP with Google, Bing, and Brave
  • Google이 검색 결과 수집 방식을 계속 바꾸는 상황에서 실시간 SERP 데이터가 필요한 경우 Autom 가격 페이지에서 1,000건 무료 요청을 제공하며, API 키는 app.autom.dev/register에서 발급 가능함.