구글이 robots.txt에 공통 AI 학습 거부 설정을 도입한다

구글은 다른 AI 업체들과 함께 2027년 공통 학습 거부 설정을 도입하려 합니다. 웹사이트 운영자는 공통 설정으로 여러 업체에 한꺼번에 거부 의사를 전할 수 있게 됩니다. 여러 AI 업체에 한 번에 거부 의사를 전할 수 있다는 점은 반갑지만, 아직은 도입 목표만 있고 구체적인 일정은 없습니다.

2026년 10월 조사에서는 웹사이트 11만744곳 가운데 21.3%가 AI 크롤러를 하나 이상 robots.txt로 차단했습니다. 공통 설정은 이미 개별 차단을 택한 운영자에게 여러 업체를 한꺼번에 지정할 통로를 만들 수 있습니다. 다만 그 조사는 표본이 웹 전체를 대표하지 않으므로, 이 비율을 전체 사이트의 수요로 넓힐 수는 없습니다.

이번 제안은 참여 업체 전체에 적용할 기본 설정을 공통 토큰으로 지정하면서, 업체별 설정도 유지합니다. 모든 참여 업체에 학습 거부를 적용할 수도 있고, 업체마다 다르게 설정할 수도 있습니다. 공통 기준과 업체별 선택이 함께 작동한다는 점이 흥미롭습니다.

이 설정은 robots.txt에 정책 토큰(policy token)을 넣어 참여 업체에 적용하는 방식입니다. 학습 거부를 표시하고 Google-Extended를 따로 두지 않으면 구글은 이를 차단으로 해석할 계획입니다. 반대로 Google-Extended를 명시적으로 허용하면 Gemini 앱에서 답변의 근거 자료로 쓰이고, 독자의 클릭을 받을 수 있습니다. 학습 거부와 답변 근거 활용은 별도로 확인해야 하는 선택입니다.

오늘 사이트의 robots.txt에서 Google-Extended와 업체별 학습 차단 규칙을 확인하십시오. Google-Extended 허용이 남아 있으면 Gemini 앱에서 답변 근거로 활용될 수 있습니다. 그 가능성까지 고려해 각 설정이 원하는 공개 범위와 맞는지 대조해 보십시오.

사이트의 AI 크롤러 허용 여부를 정할 때, 업체별 규칙을 어디서 확인하고 어떤 용도를 먼저 구분하십니까?