2026년 7월 28일부터 8월 10일까지 AI 학습용이라고 밝힌 크롤러가 사이트를 1,534번 읽었다. 권리 파일을 요청한 경우는 한 번뿐이었다.
사이트 운영자가 14일 동안 자동 방문을 기록한 결과다. AI 학습 크롤러가 저작물 이용 조건을 확인하는지 궁금한 콘텐츠 권리자에게 참고가 될 만한 관찰이지만, 한 사이트의 기록이다.
권리 파일은 무엇인가?
권리 파일은 콘텐츠를 텍스트·데이터 마이닝에 사용하는 것을 허용하거나 거부하는 조건을 기계가 읽을 수 있도록 적은 문서다. 안내 표지판을 떠올리면 쉽다. 다만 여기서는 표지판을 사람이 아니라 크롤러가 읽을 수 있는 형식과 위치로 제공한다.
이 사이트는 세계웹컨소시엄(W3C)의 TDM Reservation Protocol에 따라 /.well-known/tdmrep.json에 텍스트·데이터 마이닝 유보 내용을 두고, /license.xml에 기계 판독형 라이선스를 공개했다. 같은 입장을 일반 문장으로 쓴 정책 페이지도 있다. 모든 HTML 페이지에는 이 파일들을 가리키는 메타 태그와 응답 헤더가 붙는다. 크롤러가 먼저 읽는 robots.txt에도 ai-train=no라는 Content-Signal 줄과 라이선스 파일을 가리키는 License 줄이 있다.
크롤러는 무엇을 읽었나?
사이트의 센서는 자동 방문을 크롤러 종류와 방문한 표면 유형별로 분류해 횟수만 저장한다. IP 주소나 세부 경로, 사람 방문 기록은 저장하지 않는다. 2026년 7월 28일부터 8월 10일까지 자동 방문은 모두 17,490회였고, 이 가운데 AI 학습용이라고 사용자 에이전트 문자열에서 밝힌 크롤러의 요청은 1,534회였다.
방문은 특정 날짜에 몰렸다. 8월 8일에 841회가 집중됐고, 거의 전부 OpenAI의 GPTBot이 사이트 페이지를 읽은 기록이었다. 하루 방문 수의 중앙값은 15회였다.
1,534회 가운데 권리 파일을 요청한 사례는 정확히 한 번이었다. 요청 주체는 OpenAI의 검색 제품용 크롤러 OAI-SearchBot이었다. OpenAI는 이 크롤러가 학습에 쓰이지 않는다고 밝힌다. 권리 유보가 겨냥한 GPTBot은 사이트 글을 수백 번 읽었지만 관련 조건 파일은 한 번도 요청하지 않았다.
권리 파일에 대한 방문은 전체 기간에 80회 기록됐다. 다만 요청자를 식별할 수 있었던 구간의 기록은 외부 크롤러가 아니라 사이트 자체 모니터링에서 나온 것이었다. 이 80회도 실제 이용 전체를 나타내지는 않는다. 자동화 도구 대부분은 자신이 기계라고 알리지 않아 센서가 집계하지 못했다.
이 기록은 어디까지 믿을 수 있나?
센서는 권리 파일을 제공하는 엣지 워커에서 실행된다. 응답을 보내기 전에 방문을 기록하므로 세 파일 가운데 하나라도 요청하면 센서를 거친다. 센서가 고장 나면 대시보드에는 정상적인 횟수 대신 오류가 표시된다. 따라서 운영자는 오류와 방문 0회를 구별할 수 있으며, 이번에 나온 값은 0이 아니라 1이었다.
유럽연합에서는 권리자가 기계 판독형 방식으로 유보를 표시하면 텍스트·데이터 마이닝 예외 적용에서 저작물을 제외할 수 있다. TDMRep는 그 유보를 표준화된 주소에서 알리기 위한 규약이다. 이 제도는 마이닝을 하는 쪽이 표시를 확인한다는 전제에 기대지만, 이번 기록에서는 해당 권리를 겨냥한 GPTBot이 권리 파일을 확인하지 않았다.
관찰 대상은 사이트 한 곳과 14일뿐이므로 연구 결과라기보다 사례에 가깝다. 센서가 무엇을 셌는지는 설명돼 있지만, 이 기록만으로 다른 사이트나 모든 크롤러가 같은 방식으로 행동한다고 볼 수는 없다. 콘텐츠 권리자는 파일과 페이지의 참조가 실제 응답에 포함되는지 확인할 수 있다. 원문은 크롤러가 권리 파일을 읽지 않은 이유나 이 관찰이 법적 효력에 미치는 영향을 밝히지 않는다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요