앤스로픽은 Claude Duet의 안전장치를 공개했다

앤스로픽은 연구 프리뷰로 제공 중인 에이전트 Claude Duet의 승인 절차, 민감 정보 검사, 자격 증명 격리 방식을 설명했다. Claude Duet은 연결한 앱을 사용해 작업하며 앱을 닫은 뒤에도 계속 실행될 수 있다.

앤스로픽은 Claude Duet이 사용자를 대신해 민감한 메시지를 보내거나 결제·삭제를 하기 전에 작업 내용과 대상, 모든 수신자를 보여주고 승인을 기다린다고 밝혔다. 모델과 별도로 작동하는 자동 검사도 각 작업이 사용자의 의도에 맞는지 확인한다. 증권 거래, 계좌 간 송금, 다른 사람의 계정 접근은 승인해도 허용되지 않는다. 결제나 송금, 주문 삭제, 계정 생성 등은 이전에 여러 번 승인했더라도 ‘다시 묻지 않기’ 설정의 적용을 받지 않는다. 자리를 비운 동안 실행하는 루틴에도 같은 보호 장치가 적용된다.

구매에는 Link from Stripe 같은 지갑의 일회용 카드가 사용된다. 카드는 해당 판매자와 금액으로 제한되며, 사용자는 상품과 총액을 확인한 뒤 Link 앱에서 승인한다. 실제 카드 번호는 Claude Duet이나 판매자에게 전달되지 않는다. 앤스로픽은 승인 요청이 너무 잦으면 사용자가 충분히 살피지 않고 승인할 수 있어 요청 빈도를 계속 조정할 예정이라고 밝혔다.

별도의 안전성 분류기는 Claude Duet이 보내려는 메시지에 민감한 정보가 있는지 검사한다. 로그인 정보, 전체 카드·은행 계좌 번호, 정부 발급 신분증 번호는 사용자가 요청하더라도 누구에게도 공유하지 않도록 설계했다. 건강·재정 정보 같은 다른 사적 정보는 사용자가 명시적으로 승인한 경우 공유할 수 있으며, 사용자의 직접 요청도 동의로 간주한다. 차단된 메시지는 민감한 정보를 빼고 다시 작성한 뒤 승인을 요청할 수 있다. 다만 Claude Duet은 연구 프리뷰 단계라 검사기가 정보를 놓치거나 무해한 메시지를 잘못 표시할 수 있다고 앤스로픽은 밝혔다.

사용자는 작업 목록에서 Claude Duet의 작업 상태를 확인하고 진행 중인 작업에 방향을 제시할 수 있다. 대화 기록과 메모리는 기록을 삭제하거나 초기화할 때까지 작업 간 맥락을 유지한다. 연결 앱을 해제하면 그 시점부터 새로 접근할 수 없지만, 이미 앱에서 파악한 정보는 메모리를 초기화할 때까지 남는다. Claude 계정의 메모리도 사용되며, 계정을 삭제하면 Claude Duet이 저장한 정보가 모두 지워진다.

Claude Duet은 비밀번호, 브라우저 쿠키, 로그인 토큰을 보거나 메모리에 저장하지 못하도록 설계됐다. 비밀번호는 Claude 앱 안의 입력 양식에서 입력하며, 일회용 키로 암호화된 뒤 모델이 접근할 수 없는 클라우드 브라우저에서만 복호화된다. 앤스로픽은 향후 1Password를 통한 로그인도 지원할 예정이라고 밝혔다. Claude Duet의 로그인 양식은 사용자가 요청한 로그인 과정에서 앱 안에만 표시된다. 링크·문자·이메일이나 claude.ai가 아닌 웹사이트에서 비밀번호를 요구한다면 정당한 요청이 아니라고 앤스로픽은 경고했다.

연결 서비스의 로그인 토큰은 에이전트가 작업하는 컴퓨터에 들어가지 않는다. 대신 그곳에는 토큰을 대신하는 값이 놓이고, 별도 프록시가 요청을 보낼 때 실제 자격 증명을 넣는다. 브라우저도 모델 및 에이전트 작업용 클라우드 컴퓨터와 분리된 전용 가상 머신에서 실행된다. 에이전트는 정해진 명령으로 브라우저를 조작하며, 웹사이트 코드와 쿠키는 에이전트의 메모리나 연결 앱에 전달되지 않는다. 반면 작업에 필요한 페이지 텍스트와 다운로드 파일은 전달된다. 앤스로픽은 이를 보완하기 위해 프롬프트 인젝션 방어 연구에 설명한 보호 장치를 적용하고, 브라우저로 올리는 파일에도 메시지와 같은 민감 정보 검사를 한다고 밝혔다. 브라우저 요청에는 구별되는 User-Agent 헤더가 포함되며, 접속에 쓰는 공개 IP 주소도 공개한다. 앤스로픽은 일부 대형 웹사이트에 방문 차단 선택권을 제공했고, 일부 사이트가 이를 선택했다고 덧붙였다.

앤스로픽의 Safeguards 팀은 무해한 작업, 지시가 삽입된 작업, 요청 범위를 넘도록 유도하는 작업을 각각 평가했고 실제 사용의 섀도 트래픽도 함께 살폈다. 레드팀은 정보 유출, 승인 없는 행동, 악성 프롬프트 추종 여부를 시험했다. 외부 침투 테스트 업체는 소스 코드에 접근해 테스트했으며, 클라우드 브라우저와 로그인 양식을 대상으로 한 후속 테스트는 진행 중이다. 새 자격 증명 기능은 출시 전에 격리된 환경에서 레드팀 테스트를 거친다. Claude Duet은 앤스로픽의 공개 버그 바운티 프로그램에도 포함된다. 취약점은 HackerOne의 앤스로픽 프로그램을 통해 제보할 수 있다.

앤스로픽은 연구 프리뷰를 통해 사용자가 개인 에이전트에서 원하는 기능과 보호 장치를 파악하려 한다고 밝혔다. 승인 요청 빈도, 로그인 방식, 민감 정보 검사 성능은 계속 바뀔 수 있다. Claude Duet에 원하는 점이나 문제를 평이한 말로 전달하면 팀에 보고서가 제출된다고 설명했다.

관련 자료: Claude Duet, 안전하고 신뢰할 수 있는 에이전트 개발 프레임워크, 단일 방어만으로는 충분하지 않은 이유, 모델 내부 보호만으로는 충분하지 않은 이유, Claude Managed Agents, Claude Code 자동 모드 분류기.