Anthropic의 사용 정책은 Claude를 향한 지속적이고 불필요한 학대·잔인한 행동을 금지한다. 정책은 Claude를 쓰는 개인뿐 아니라 API·개발자 플랫폼 이용자, 기업, Claude를 통합한 서비스의 최종 사용자 등 제품과 서비스에 입력을 보내는 모든 이용자에게 적용된다.

Anthropic은 정책 위반이 의심되면 경고하거나 제품·서비스 접근을 제한·정지·종료할 수 있다고 밝혔다. 실시간 안전장치가 특정 출력을 막거나 제한하더라도, 그 사실만으로 정책 위반이 확인되는 것은 아니다.

정책은 모델을 대상으로 한 행동 외에도 자해·섭식장애 조장, 괴롭힘, 비동의 친밀 이미지 제작, 허위 정보 유포, 무단 감시, 사기 등 여러 행위를 금지한다. 법률·의료·금융 등 개인에게 중대한 영향을 줄 수 있는 고위험 용도에는 자격을 갖춘 사람의 실질적 검토와 AI 사용 사실 고지가 요구된다. 외부 이용자와 직접 대화하는 챗봇과 AI 에이전트도 AI와 대화 중임을 밝혀야 한다.

Anthropic은 기술과 관련 위험이 변하거나 예상하지 못한 위험을 파악하면 정책을 갱신할 수 있다고 설명했다. 정책 전문은 PDF 문서에서 확인할 수 있다.