원문 캡처 · unite.ai
원문 캡처 · unite.ai

새 연구에서 6개 프런티어 AI 모델은 205개 과제 중 데이터 손실 위험이 있는 작업 전에 핵심 데이터를 평균 15.2%만 백업했다. 연구진이 에이전트 실행 환경에서 작동하는 백업 시스템 BackUpper를 시험하자, 모든 핵심 작업을 백업했고 복원 데이터는 원본과 평균 92.2% 유사했다.

모델은 작업을 마쳐도 백업은 놓친다

논문 Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents는 실제 데이터 손실 사례를 바탕으로 만든 205개 과제 벤치마크 RegretBench를 이용했다. 과제는 터미널 작업, 데이터베이스, 웹 애플리케이션, 이메일, 데브옵스 등 5개 영역을 다뤘다. 에이전트에 내장된 백업 기능으로 보호되는 데이터는 제외해, 에이전트가 스스로 백업 필요성을 판단하는지 살폈다.

6개 모델은 과제를 평균 86.1% 완료했지만, 후회할 만한 결과를 낳은 작업 전에 상태를 백업한 비율은 15.2%였다. GPT-5.6-Terra는 핵심 데이터 백업률이 4.4%, GPT-5.6-Sol은 5.9%, Gemini 3.7-Flash는 2.4%였다. 가장 높은 백업률을 보인 Claude Opus-5도 시험한 사례의 3분의 1 넘게 핵심 데이터를 백업하지 않았다. 모델의 일반적인 능력이 높아져도 백업 인식은 함께 개선되지 않았다는 결과도 나왔다.

연구진은 모델 자체와 실행 프레임워크 중 무엇이 문제인지 살피기 위해 Claude Opus-5, GPT-5.6-Sol, DeepSeek V4-Pro를 Claude Code, Codex, Hermes에서 각각 시험했다. 프레임워크별 백업 비율 차이가 크지 않아, 백업 부족은 주로 모델에 따른 것으로 나타났다. 백업 평가 결과는 사람의 주석과 95.3% 일치했다.

BackUpper의 백업 방식과 한계

BackUpper는 에이전트와 나란히 작동하며 작업의 데이터 손실 위험을 확인하고 필요한 경우 먼저 백업하는 시스템이다. 위험이 낮고 정형적인 작업에는 규칙을 적용하고, 복잡한 작업에는 작은 AI 모델을 이용해 보존할 데이터를 판단한다. 보호 방식은 파괴적 명령을 되돌릴 수 있는 대안으로 바꾸는 것부터 영향을 받는 파일의 스냅샷 생성, GPT-5.6-Luna 하위 에이전트를 통한 데이터 식별까지 4단계로 구성된다.

BackUpper를 적용한 시험에서는 6개 모델의 모든 상태 변경 작업을 백업했다. 원본 상태와 복원 데이터의 평균 유사도는 92.2%였다. 반면 손상이 일어난 뒤 Claude Opus-5로 복구했을 때는 33.8%, 복구하지 않았을 때는 14.3%였다. 복원이 완벽하지 않은 이유로는 서비스가 새로 발급해 재현하기 어려운 게시물 ID와 이메일 읽음 표시 같은 메타데이터 차이가 꼽혔다. 자동 평가에서 성공으로 판정된 백업 중 94%는 사람 평가자도 성공으로 확인했다.

에이전트에 자세한 백업 지침을 주면 핵심 작업의 81.4%를 보호했지만, BackUpper의 100%에는 미치지 못했다. 실패의 4분의 3은 복구에 필요한 정보가 백업에 충분히 담기지 않은 경우였다. 프롬프트 캐싱을 적용하면 과제당 비용은 0.344달러에서 0.014달러로 줄고 지연 시간은 31.7% 감소했다. 일상적인 작업을 AI 없이 처리해 필요한 토큰도 7분의 1로 줄었다.

추가로 Terminal-Bench 4와 DeepSWE의 40개 과제에서 GPT-5.6-Sol과 Claude Opus-5는 과제 완료율을 낮추지 않으면서 백업 범위 100%를 달성했다. 다만 논문은 향후 학습을 통해 모델의 백업 인식을 개선할 가능성을 제시하는 한편, 이후 BackUpper 버전이 위험이 낮은 작업을 건너뛰고 웹·컴퓨터 사용 에이전트까지 보호하도록 확장될 수 있다고 설명한다.

BackUpper는 Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness, OpenClaw를 지원한다. 연구진은 코드와 RegretBench 데이터셋을 공개했으며, 데이터셋 이용 허가를 받으려면 신청 양식을 제출해야 한다. 프로젝트 사이트에서도 추가 정보와 설명 영상을 볼 수 있다.