TL;DR

  • sightread.org에 llms.txt를 추가하고 여러 경로로 연결했지만, 에이전트 최적화 효과는 크롤링 로그에서 거의 확인되지 않음.
  • robots.txt에 llms.txt를 사이트맵으로 지정하는 방식은 유효하지 않으며, llms.txt는 사이트맵이 아님.
  • Claude는 에이전트 크롤러가 llms.txt를 무시한다며 공개용 HTML 페이지를 권했지만, Lighthouse는 파일 누락과 링크 형식을 문제로 지적함.
  • 최근 5일 동안 llms.txt 요청 수는 robots.txt 요청 수의 1~1.2%이며, 요청의 66.28%가 정체를 밝히지 않은 Linux용 Chrome에서 발생함.
  • 로그에서 Claude 요청은 0.10%, Meta와 Googlebot 요청을 합쳐도 0.08%였고 GPT와 Gemini 요청은 보이지 않아, llms.txt의 실효성을 신뢰하기 어렵다는 입장임.

llms.txt를 만들고 연결한 과정

  • 검색 엔진 최적화(SEO) 가이드에서 웹 루트에 robots.txt와 비슷한 llms.txt 파일을 두면 에이전트가 사이트를 이용하는 데 도움이 된다는 내용을 접함.
  • 북마크할 수 있는 선택지가 많은 sightread.org에서 사용자가 ChatGPT에 시창 연습이나 단계별 연습 순서를 요청하면, ChatGPT가 URL을 만들어 알맞은 연습 페이지로 안내하는 상황을 상상하고 sightread.org/llms.txt를 만듦.
  • 파일이 실제로 유용한지, 에이전트 크롤러가 제대로 찾는지 알 수 없어 약 6~7개월 전 Gemini에 물었고, robots.txt에 다음과 같이 추가하라는 답변을 받음.
  • Sitemap: https://sightread.org/llms.txt
  • 다음에 Gemini 3 Pro는 이 방식이 유효하지 않고 llms.txt는 사이트맵도 아니라고 답함.
  • HTML 헤드에도 다음 링크를 추가함.
  • <link rel="llms" href="/llms.txt" title="LLM Guide">

Claude의 의견과 HTML 페이지 전환

  • 약 7개월 뒤 Claude에 의견을 물었을 때, 아무도 신경 쓰지 않고 에이전트 크롤러도 llms.txt를 무시한다는 답변을 받음.
  • Claude는 agents.md가 없는 상황에서 코딩 에이전트가 파일을 유용하게 쓸 수는 있지만, SEO나 에이전트 최적화에는 효과가 없다며 파일을 없애고 공개용 HTML 페이지를 만들라고 권했고, 이에 따라 HTML 페이지를 만듦.

Lighthouse 감사와 llms.txt 복구

  • 며칠 전 Lighthouse에 '에이전트 브라우징' 감사 항목이 생긴 것을 발견함.
  • 감사를 실행하자 llms.txt가 없다는 지적이 나와 파일을 복구했지만, 이번에는 링크가 없다는 지적을 받음.
  • 마크다운에 URL은 있었지만 링크 형식으로 작성하지 않은 것이 문제였으며, 이를 수정함.
  • HTML 메타 링크도 문서에 설명된 다음 형식으로 바꿈.
  • <link rel="describedby" href="/llms.txt" type="text/markdown">

서버 로그로 확인한 크롤링 현황

  • 브라우저와 개발자 도구를 제공하는 크롤링 전문 기업은 llms.txt가 없으면 잘못된 상태라고 보는 반면, 다른 에이전트 기업은 중요하지 않다는 태도여서 서버 로그를 확인함.
  • 최근 5일 동안 robots.txt 요청 수와 비교한 llms.txt 요청 비율은 1~1.2%였으며, robots.txt 요청 100건당 llms.txt 요청은 약 1건임.
  • llms.txt 요청의 사용자 에이전트 비중은 다음과 같음.
  • Chrome 148/Linux: 66.28%
  • Chrome 126/Mac: 16.09%
  • SEOJuice-SearchBot: 5.13%
  • Chrome 144/Windows: 1.15%
  • Chrome 124/Mac: 0.81%
  • Chrome 136/Android (Chrome-Lighthouse): 0.69%
  • Chrome 136/Mac (Chrome-Lighthouse): 0.65%
  • Claude-User (Anthropic): 0.10%
  • 요청의 66.28%는 최신 Linux용 Chrome에서 왔지만 요청 주체를 식별하지 않았으며, 한 개의 미숙하게 만든 크롤러가 서버를 과도하게 방문하는 것일 가능성도 제기함.
  • GPT와 Gemini 요청은 보이지 않았고, Meta와 Googlebot의 비중을 합쳐도 0.08%였음.

결론

  • 문법을 잘못 썼는지 확신할 수는 없지만, Lighthouse의 지적과 별개로 llms.txt는 중요하지 않다는 쪽에 기울어 있음.
  • 로그에서 Googlebot이나 Gemini 요청을 확인하기 전까지는 llms.txt를 신뢰하기 어렵다는 입장임.
  • 결론은 'LLMs-schmellms'임.