Cloudflare가 검증된 봇이 웹사이트의 크롤링 선호와 요청 속도 제한을 지키는지 시간에 따라 평가하는 시스템을 도입했다. 현재 내부 평가에 사용하며, 향후 고객이 봇 트래픽 처리 기준으로 삼을 신뢰 임계값을 설정할 수 있도록 제공할 계획이다.
이 시스템은 봇의 신원을 확인하는 데서 그치지 않고, 실제 행동을 근거로 신뢰 수준을 설명 가능한 범위로 제시한다. 초기 평가 신호는 봇이 웹사이트의 지침을 따르는지, 직접적인 피드백에 반응하는지다. robots.txt의 크롤링 규칙을 반복해서 무시하는지 살피고, HTTP 429(요청이 너무 많음) 응답을 받은 뒤 요청 속도를 늦추거나 멈추는지도 평가한다.
Cloudflare는 한 번의 위반보다 지속적인 행동 패턴을 본다고 밝혔다. 반복해서 사이트 선호를 따르고 429 응답에 맞춰 속도를 낮추면 신뢰도가 높아지고, 신호를 거듭 무시하면 낮아진다. 이 평가는 봇이나 운영자에 대한 영구 판정이 아니라 관찰된 행동을 설명하는 신뢰 범위다.
Cloudflare는 현재 이 시스템을 내부적으로 사용해 검증된 봇의 웹사이트 선호 준수 여부를 평가하고 있으며, 초기 단계에서 이력을 쌓고 평가 방식을 다듬고 있다고 설명했다. 향후 모든 Cloudflare 고객에게 제공해 고객이 검증된 봇 트래픽을 처리할 신뢰 기준을 선택하도록 할 계획이다.
이 시스템은 웹사이트 운영자가 선호 사항을 게시하도록 돕는 Bot Preference Sync 및 자동화 트래픽 처리 방식을 정하는 Bot Management와 함께 책임성 체계를 이룬다. 봇 인증에는 Web Bot Auth를 사용하고, 확인된 봇은 BotBase에 공개 형식으로 기록한다. 향후 평가 점수를 Radar에서 공개할 예정이다.
Cloudflare는 robots.txt가 봇이 해서는 안 될 일의 최소 규칙을 정할 뿐, 명시되지 않은 행동을 허용한다는 뜻은 아니라고 강조했다. 웹사이트가 다른 신호로 접근 중단을 알렸다면, robots.txt에 별도 규칙이 없어도 봇은 계속 접근하지 말아야 한다는 설명이다. 평가 방식은 RFC 9309에 따른 사이트 선호 준수 여부를 포함한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요