Scopehaven의 접근법을 적용한 내부 시험에서 사용자 계정을 정지한 뒤에도, 정지 전에 시작된 에이전트 작업이 파일을 쓴 사례가 확인됐다. 시험한 오픈소스 AI 작업공간의 특정 버전에서 합성 데이터와 로컬 모델을 사용했으며, 14개 사례 중 2개에서 문제가 나타났다.
새 요청은 모두 거부됐지만, 이미 실행 중이던 작업은 계속됐다. 부분적으로 로컬 수정을 한 뒤에는 파일 쓰기 경로에서 확인한 14개 점검이 모두 통과했다. 여기에는 정상적인 사용이 계속 가능한지 확인하는 점검도 포함됐다. 다만 다른 도구와 전체 세션 종료는 시험하지 않았다.
시험 대상 프로젝트는 공개하지 않았다. 이 결과는 특정 버전 한 개를 자체 장비에서 확인한 사례일 뿐, 프로젝트의 현재 버전에 대한 주장이나 안전성 인증이 아니다. Scopehaven의 출시 제품을 시험한 것도 아니다.
에이전트 작업은 도구를 호출하거나 승인을 기다리고, 대기열에서 재개되면서 권한 변경 뒤에도 이어질 수 있다. 작업 시작 때만 권한을 확인하면 이후 단계가 이전 권한을 기준으로 동작할 가능성이 있다. 작업이 실행되는 동안 사용자 권한을 다시 확인하는지 시험해야 한다.
자체 에이전트의 권한 회수를 점검하려면 도구 호출이나 승인 대기 뒤에 데이터를 변경하는 작업을 시작한 다음, 작업이 끝나기 전에 시험 계정을 정지하거나 역할을 제거한다. 응답 메시지만 확인하지 말고 파일·데이터 행·메시지·장부 기록과 변경 시각을 확인해야 한다. 권한 변경 시점을 도구 호출 전, 승인 대기 중, 쓰기 직전으로 달리해 각각 시험하고, 권한이 바뀌지 않은 계정의 작업은 정상 완료되는지 대조군으로 확인한다. 타이밍에 따라 결과가 달라질 수 있으므로 각 사례를 여러 번 반복해야 한다.
정상 사용을 깨뜨리지 않고 수정이 유지됐는지 확인하는 방법
Scopehaven은 사용자가 정의한 권한과 확인할 작업을 점검하고, 수정이 유지되는지 같은 검사를 다시 실행하는 로컬 평가 작업대라고 소개한다. 실행 결과와 증거는 사용자 장비에 보관되며 Scopehaven으로 전송되지 않는다고 설명한다. 합성 데모에는 작업 중 권한을 회수했을 때 대기 중인 동작이 멈추는지 확인하는 MIDTASK-01 검사가 포함돼 있다. 실제 앱에서 확인할 수 있는 범위는 연결 방식과 이용 가능한 증거에 따라 달라지며, Scopehaven은 앱을 인증하거나 취약점이 없다고 보장하지 않는다. 이 시험은 자체 장비에서 자체 호스팅 앱 하나만 대상으로 했으며 호스팅형 비서는 다루지 않았다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요