TL;DR

  • cam-davis.com에서 이전 소유 기간에 등록된 것으로 보이는 1,000개가 넘는 가짜 사이트맵과 스팸 링크 색인 흔적을 발견함.
  • 미국에서 온라인 사기로 발생한 피해액은 2025년 1,480억 달러로, 전년보다 25% 이상 증가함.
  • 도메인이 이전 웹마스터의 관리 소홀로 만료된 뒤 스팸 운영자가 확보해 기존 Google 검색 기록을 악용했을 가능성이 가장 큼.
  • google-auth-oauthlib와 googleapiclient를 사용하는 Python 스크립트로 정상 사이트맵을 제외한 사이트맵을 삭제함.
  • 가짜 페이지는 404 오류를 반환하는데도 Google이 색인을 시도하고, 실제 페이지는 아직 색인되지 않아 검색 반영 시점을 알 수 없는 상태임.

스팸 도메인 흔적의 발견

  • 인터넷 광고는 웹사이트 운영자가 취미를 사업으로 발전시키고 콘텐츠를 제작하도록 장려했지만, 사기꾼과 스패머가 광고 플랫폼과 수상한 웹사이트를 이용하는 부작용도 낳음.
  • Consumer Federation of America에 따르면 미국인의 온라인 사기 피해액은 2025년 1,480억 달러로, 전년보다 25% 이상 증가함.
  • Google Search에 사이트를 등록하면서 실제 사이트맵을 제출하자, Google Search Console에 직접 만든 적 없는 가짜 사이트맵과 페이지가 다수 미리 등록된 상태였음.
  • Wayback Machine에서는 해당 도메인에 어떤 콘텐츠가 있었는지 확인할 기록을 찾지 못함.
  • 기존 사이트맵의 스크린샷은 남기지 못했지만, Google이 여전히 색인을 시도하는 일부 페이지는 확인 가능함.

도메인이 스팸에 사용됐을 가능성

  • Google이 비속어가 포함된 가짜 링크와 예전에 이력서를 보관했던 위치의 링크를 색인하려고 시도했으며, Google 기록상 해당 링크는 2026년 크롤링 당시 404 오류를 반환했는데도 색인 대상에 남아 있었음.
  • 링크의 키워드는 어두운 인터넷 콘텐츠를 검색하는 사람이 찾을 법한 항목이며, 이런 검색 사용자는 콘텐츠를 찾으려고 수상한 링크를 클릭할 가능성이 더 큼.
  • Google에 색인된 1만 7,000개 링크의 콘텐츠를 실제 도메인에서 호스팅했을 가능성은 낮으며, 클릭을 유도한 뒤 광고로 연결하는 검색엔진최적화(SEO) 악용 작업이었을 것으로 추정함.
  • 이전 웹마스터가 검색 노출이 남아 있는 동안 도메인 갱신을 잊거나 관리하지 않아 소유권 공백이 생겼고, 스패머가 그 틈을 이용해 도메인을 확보했을 가능성이 있음.
  • 새 도메인보다 Google 시스템에 이미 존재하는 도메인을 이용하면 덜 주목받으면서 스팸 링크를 대량으로 만들고 클릭을 유도해 악의적인 곳으로 301 리디렉션할 수 있음. 다만 301 리디렉션만으로 Wayback Machine 기록이 없는 이유까지 설명되지는 않음.
  • 도메인 소유권은 2024년 이후 중단된 적이 없고, DNS에 있는 두 Google 인증 토큰도 현재 소유자의 것임. Google 계정 침해가 없었다고 가정하면 앞서 제시한 소유권 공백 가설이 가장 그럴듯함.

사이트맵 정리

  • DNS 레코드로 웹사이트 소유권을 인증한 뒤 Google에 가짜 사이트맵이 1,000개 넘게 표시됨. 검색 결과에 사이트를 노출하려면 사이트맵을 정리해야 하는 상황임.
  • Google 인증을 거쳐 Search Console API에서 도메인의 사이트맵 목록을 반복해서 가져오고, 정상 사이트맵인 https://cam-davis.com/sitemap.xml을 제외한 나머지를 삭제하는 Python 스크립트를 작성함.
  • 스크립트는 정상 사이트맵 하나를 제외한 모든 사이트맵을 삭제하는 데 성공함.

정리 이후에도 남은 문제

  • 사이트맵 삭제가 문제의 끝은 아님. Google Search는 대규모 분산 시스템이므로 변경 사항이 반영되기까지 시간이 걸림.
  • 첫 번째 스크린샷은 작성 당일 촬영한 것이며, Google은 몇 년 전부터 존재하지 않고 404 오류를 반환하는 페이지를 여전히 색인하려고 시도하고 있음.
  • 블로그를 포함한 실제 페이지는 명확한 이유 없이 계속 ‘발견됨 - 현재 색인이 생성되지 않음’ 상태임.
  • 웹사이트가 언제 정상적으로 색인될지, 추가로 할 수 있는 조치가 있는지는 불분명함. Google 검색을 통해 이 글을 발견했다면 문제가 해결된 것으로 간주함.