블로그가 Google 검색 색인에서 제외됐다

2026년 10월 7일

올해 초 정확한 시점은 기억나지 않지만, 이 웹사이트가 더는 검색 엔진에 색인되지 않기를 바랐다. 인터넷을 괴롭히는 AI와 끊임없는 스크래핑이 그 이유 중 하나다. 블로그가 공개 인터넷에서 접속 가능한 한 이를 완전히 막을 방법은 없다는 걸 알지만, 적어도 일부 봇은 차단 규칙을 존중할 것이다.

처음에는 robots.txt에서 모든 봇의 접근을 막았다.

```

User-agent: *

Disallow: /

```

몇 주 동안 기다리고 확인해도 효과가 없다는 걸 깨닫고 robots 메타 태그를 설정했다.

```

<meta name="robots" content="noindex, nofollow" />

```

이렇게 하면 될 줄 알았다. 하지만 색인에서 제외하려는 페이지를 알리는 메타 태그를 봇이 확인할 수 있도록, 역설적이게도 색인에서 제외 작업을 할 봇의 웹사이트 방문을 허용해야 한다는 점은 몰랐다.

```

User-agent: Googlebot

Allow: /

User-agent: *

Disallow: /

```

다른 주요 봇에도 같은 조치를 했고, 웹사이트가 색인에서 제외된 것을 확인할 때마다 해당 봇을 robots.txt에서 제외했다.

Google의 색인에서 제외되도록 마지막으로 설정을 바꾼 지 적어도 3개월이 지났다. 오늘 확인해 보니 이 웹사이트는 Google 검색에서 완전히 제외됐다. 🥳

#degoogle

#meta