TL;DR

  • 이 사이트에서 14일간 AI 학습 크롤러가 1,534회 페이지를 가져갔지만, 권리 파일을 읽은 경우는 단 한 번임.
  • 센서는 2026년 7월 28일~8월 10일 자동화된 요청 17,490회를 기록했으며, 그중 841회는 8월 8일 OpenAI의 GPTBot에서 발생함.
  • 사이트는 TDMRep 예약 파일, 기계 판독형 라이선스, 정책 페이지, 메타 태그, 응답 헤더, robots.txt를 통해 권리 조건을 명시함.
  • 권리 파일에 기록된 요청 80회는 대부분 자체 모니터링에서 발생했으며, 센서는 크롤러가 요청을 보내면 응답 전에 방문을 기록하는 구조임.
  • 측정 결과는 단일 사이트의 일화적 사례지만, 권리 파일을 게시하는 쪽은 갖춰졌고 이를 읽는 기계 쪽은 아직 나타나지 않았다는 점을 보여줌.

아무도 읽지 않는 권리 파일

  • 이 사이트는 소형 센서를 통해 자동화된 요청을 크롤러 계열과 접근한 표면 유형별로 분류한 뒤 횟수만 저장함. IP 주소, 세부 경로, 사람 방문 기록은 저장하지 않음.
  • 센서의 목적은 AI 학습 에이전트라고 공개적으로 밝힌 크롤러가 사이트를 읽을 때 자신에게 적용되는 조건도 확인하는지 살펴보는 것임.
  • 조건은 표준이 안내하는 위치에 게시돼 있음.
  • 텍스트·데이터 마이닝(Text and Data Mining, TDM) 유보 선언은 W3C의 TDM Reservation Protocol에 따라 /.well-known/tdmrep.json에 있음.
  • 기계 판독형 라이선스는 /license.xml에 있음.
  • 정책 페이지에도 같은 입장이 평이한 언어로 명시돼 있음.
  • 사이트의 모든 HTML 페이지에는 해당 파일을 가리키는 메타 태그와 응답 헤더가 포함됨.
  • 모든 크롤러가 먼저 읽는 robots.txt에도 ai-train=no를 선언하는 Content-Signal 행과 라이선스 파일을 가리키는 License 행이 있음.
  • 따라서 발견 가능성이 장애물은 아님. 안내 링크가 사이트의 모든 응답에 포함됨.

14일간의 기계 방문

  • 센서는 2026년 7월 28일 처음 작동했으며, 8월 10일까지 자동화된 요청 17,490회를 기록함. 대부분은 일반 봇, 가동 시간 확인 도구, 검색 엔진의 통상적인 웹 요청임.
  • 이 가운데 1,534회는 사용자 에이전트 문자열에서 AI 학습 에이전트라고 밝힌 크롤러의 요청임.
  • 요청량은 날짜별 편차가 큼. 8월 8일 하루에만 841회가 발생했으며, 거의 모두 사이트 페이지를 순회한 OpenAI의 GPTBot에서 나옴. 중앙값 기준 하루 요청량은 15회임.
  • 14일 동안 해당 요청 가운데 권리 파일에 접근한 경우는 정확히 한 번임. 요청 주체는 검색 제품용 크롤러인 OAI-SearchBot이며, OpenAI는 이 크롤러가 학습에 사용되지 않는다고 밝힘.
  • 권리 유보 선언이 대상으로 삼는 GPTBot은 사이트의 글을 수백 번 가져갔지만, 관련 조건을 한 번도 확인하지 않음.
  • 권리 파일 요청이 전혀 없었던 것은 아님. 센서는 해당 기간 80회를 기록했지만, 요청자를 확인할 수 있는 엣지 로그 구간에서 요청 주체는 다른 크롤러가 아니라 사이트 자체 모니터링이었음.
  • 이 80회도 실제 요청을 과소 집계함. 관련 도구 대부분은 기계라고 밝히지 않으므로 센서가 처음부터 집계하지 못함. 권리 파일의 독자는 있으며, 그 독자는 사이트가 자체 작업을 점검하는 도구임.

측정값이지 사각지대가 아님

  • 이렇게 작은 수치는 의심해 볼 필요가 있으므로 측정 장치의 작동 방식이 중요함.
  • 센서는 권리 파일을 제공하는 동일한 엣지 워커에서 실행되며, 응답을 작성하기 전에 방문을 기록함. 따라서 크롤러가 세 파일 중 어느 하나에 도달하려면 센서를 거쳐야 함.
  • 센서가 고장 나면 센서가 제공하는 대시보드는 정상적인 집계값이 아니라 오류를 표시함. 이 구분은 핵심적임. null은 감시가 실패했음을 뜻하고, 숫자는 감시가 작동 중이었음을 뜻함. 이번 숫자는 1회임.

파일의 용도

  • 유럽연합(EU)의 텍스트·데이터 마이닝 예외 규정에 따르면 권리 보유자는 작업물을 마이닝 대상에서 제외하도록 유보할 수 있으며, 이때 유보는 기계 판독이 가능해야 함. TDMRep는 그 유보에 표준 주소를 제공함.
  • 이 법적 장치는 마이닝을 수행하는 주체가 유보 내용을 확인한다는 전제를 둠. 그러나 해당 사이트에서 14일 동안 관련 크롤러는 유보 내용을 확인하지 않음.
  • 단일 사이트에서 14일간 관찰한 결과는 연구가 아니라 일화적 사례임. 다만 측정 장치가 있었기에 기록할 가치가 있는 사례임.
  • 게시 측면의 준비는 완료됨. 유보 선언과 라이선스가 게시됐고, 모든 페이지에 안내가 포함됨. 반면 읽는 측면은 아직 나타나지 않음.
  • 그때까지 기계 판독형 권리 파일은 해당 기계를 위한 통로가 아니라 기록을 남기는 선언에 머묾.