Mojo Dojo의 AI Discovery Index에 따르면 추적 대상 새 웹페이지 111개 가운데 73%를 AI 크롤러가 게시 후 24시간 안에 방문했다. 첫 AI 크롤러가 도달하기까지 걸린 시간의 중앙값은 14시간이었으며, 이 결과는 해당 사이트에서 새로 게시한 페이지에 한정된다.
집계에서 가장 먼저 방문한 크롤러는 검색 엔진 봇인 Bingbot으로, 111개 중 47%에서 첫 방문을 기록했다. AI 크롤러 가운데서는 ClaudeBot이 32%의 페이지에 가장 먼저 도달했다. 각 크롤러의 방문 중앙값은 그 크롤러가 실제로 방문한 페이지를 기준으로 계산한다.
Mojo Dojo는 2026년 6월 6일부터 추적을 시작했으며, 누적 게시 페이지 330개 중 게시 전에 URL이 이미 공개된 219개는 집계에서 제외했다. 게시 시각은 CMS의 published_at 값을 사용하고, 방문 기록은 자체 서버 로그에서 운영자의 공개 IP 대역이나 역방향 DNS로 확인되지 않은 접속을 빼고 계산했다. 따라서 봇으로 위장한 접속은 집계에 포함되지 않는다.
방문 시각은 2026년 10월 12일 이후 자료에서 정확한 타임스탬프를 확인할 수 있다. 그 이전 자료는 날짜만 알려져 있어 첫 방문 시각을 남은 하루의 중간으로 추정했다. 크롤러가 아직 방문하지 않은 페이지도 있으며, 표본이 3개 미만인 크롤러의 수치는 참고 사례로만 봐야 한다.
AI Discovery Index는 CC BY 4.0에 따라 재사용할 수 있으며, 원문은 링크 표기를 요청한다. 인용 기준일은 2026년 10월 20일이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요