TL;DR

  • Wandering Thoughts는 AI 크롤러와 AI 에이전트의 접근을 차단하고 있으며, 본문 대신 차단 안내를 표시함.
  • 차단 사유에는 AI 크롤러의 광범위한 악용과 AI 에이전트의 사용에 관한 윤리적 반대가 포함됨.
  • User-Agent가 ai.robots.txt에 표시된 경우에도 차단 안내가 나타날 수 있음.
  • 오탐으로 차단된 경우 GitHub 저장소 운영자에게 User-Agent 예외를 요청할 수 있지만, 예외 적용은 보장되지 않음.
  • 실제 AI 에이전트를 사용하지 않는데 오탐된 경우 프로그램의 User-Agent를 알려 달라는 요청과 함께, 지나치게 일반적인 User-Agent 헤더를 설명하는 페이지가 언급됨.

접근 차단 안내

  • Wandering Thoughts는 기술 블로그이며, AI 크롤러의 광범위한 악용을 이유로 AI 에이전트와 AI 에이전트와 지나치게 유사한 접근 수단의 이용을 차단함.
  • User-Agent가 ai.robots.txt에 포함된 것이 차단 안내가 표시되는 한 가지 원인임.
  • 실제 AI 에이전트를 이용해 콘텐츠를 가져오는 경우에도 차단 대상이며, 사람의 감독 여부는 차단에 영향을 주지 않음.
  • AI 에이전트는 극도로 악용적인 과정의 산물이라는 점을 차단 이유 중 하나로 들며, 도구의 윤리를 고려하지 않는 사람을 돕는 데 관심이 없다고 밝힘.

오탐 및 예외 요청

  • AI 에이전트를 사용하지 않는데 User-Agent 판별이 잘못된 경우, 프로그램의 구체적인 User-Agent를 알려 달라고 요청함.
  • 예외가 필요하다면 GitHub 저장소 운영자에게 User-Agent 제외를 요청한 뒤, 블로그 운영자가 업데이트를 가져올 때까지 기다려야 함.
  • 특정 User-Agent만을 위한 예외 처리에는 대체로 관심이 없다고 밝힘. 필요한 경우 현재 근무 중인 대학을 통해 연락할 수 있으며, 이메일 주소는 해당 정보를 바탕으로 알아낼 수 있다고 설명함.
  • 지나치게 일반적인 User-Agent 헤더에 관한 페이지도 안내함.

작성 정보

  • Chris Siebenmann이 2026년 2월 13일에 게시함.