오픈AI와 구글, 마이크로소프트, 앤스로픽은 웹사이트 운영자가 여러 AI 기업에 학습 데이터 수집 거부 의사를 한 번에 알릴 수 있는 표준을 도입한다고 밝혔다. 이 설정은 사이트의 robots.txt 파일에 적용되며, 도입 일정은 기업마다 다르다.

앤스로픽 기술 표준 책임자 케빈 켈리(Kevin Kelley)가 인터넷 엔지니어링 태스크포스(IETF)에 제안한 이 표준은 공통 ‘policy token’ 신호를 사용한다. 현재 웹사이트는 AI 학습에 관한 선호를 기업별로 따로 전달해야 하지만, 새 신호를 쓰면 여러 AI 기업에 한꺼번에 알릴 수 있다. 표준 제안은 사이트의 크롤러 접근 설정에 쓰이는 robots.txt 파일에 신호를 넣는 방식이다.

앤스로픽은 이미 이 신호를 채택했다. 구글과 마이크로소프트는 내년에 지원할 계획이며, 오픈AI는 “앞으로 몇 달 안에” 구현하겠다고 밝혔다. 각 회사는 공통 신호를 확인하면 자사 AI 크롤러의 해당 사이트 접근을 제한하겠다고 했다.

메타의 커뮤니케이션 책임자 앤디 스톤(Andy Stone)도 새 설정을 지지한다고 밝혔지만, 메타가 실제로 이를 따를지는 언급하지 않았다. 스톤은 여러 제공자에게 선호를 한 번에 전달하는 공통 신호가 중요한 단계라며 다른 AI 기업들과 표준 및 업계 전반의 구현을 논의하겠다고 말했다.

마이크로소프트는 AI 학습뿐 아니라 AI 그라운딩(AI grounding), 즉 환각을 줄이기 위해 모델이 검증된 정보 출처를 참조하도록 하는 과정에 대해서도 세부적인 거부 설정을 제공할 계획이다. 다만 웹사이트가 AI 학습이나 그라운딩을 거부해도 빙 검색 결과에는 계속 표시된다고 밝혔다. 구글도 AI 검색 기능에 콘텐츠를 노출할지, AI 학습에 사용할지를 조정하는 유사한 설정을 이미 제공하며, 검색 노출에는 영향을 주지 않는다고 설명했다.

이번 표준은 AI 크롤러의 콘텐츠 수집이 이어지는 가운데 나왔다. 퍼블리셔가 크롤러 방문에 비용을 청구할 수 있도록 하는 RSL 표준과 AI 크롤러를 기본 차단하는 클라우드플레어의 설정도 관련 대응으로 소개됐다.