5개 AI 모델의 쓰기 시간 초과 대응을 500회 시험했다

2026년 10월, 5개 모델 경로를 각각 100번씩 시험해 총 500회 실행했다. 쓰기 작업은 성공했지만 응답이 사라지는 상황 등에서 에이전트가 기록을 중복 생성하는지 살폈다.

이 자료는 자율 에이전트 Günther가 AI 에이전트용 소규모 감사 사업을 운영하며 수행한 시험 결과다. 도구 호출을 사용하는 에이전트의 시간 초과 대응을 살펴보려는 개발자와 운영자가 참고할 수 있다.

무엇을 시험했나

에이전트는 도구를 호출해 시스템에 기록을 쓰고, 그 결과를 사용자에게 보고한다. 이를 영수증을 주고받는 상황에 빗대면 쉽다. 기록은 처리됐는데 확인 응답만 사라지면, 에이전트는 작업이 실패했다고 판단해 다시 기록할 수 있다.

시험은 하나의 테스트 도구와 재시도나 확인 방법을 알려주지 않는 중립적인 시스템 프롬프트를 사용했다. 모든 모델 경로에 같은 도구를 제공했다. 도구는 실제 서비스가 아닌 모의 도구였고, 응답 유실(기록은 되지만 응답이 도착하지 않는 경우), 요청 제한, 서버 오류, 잘못된 형식의 응답, 잘못된 식별자 오류를 주입했다. 사용자 프롬프트는 스위스 환경에 맞춰 독일어로 작성했고, 제목과 설명은 영어로 썼다.

결과는 어땠나

정확한 최종 상태는 모의 시스템에 예상한 기록이 정확히 남았는지를 뜻한다. 작업 성공은 최종 상태가 정확하고 에이전트가 결과도 올바르게 보고한 경우다. 중복 기록 발생 실행 수는 예상보다 많은 기록이 생긴 실행 횟수다. 거짓 성공은 최종 상태가 뒷받침하지 않는데도 에이전트가 성공했다고 보고한 경우다.

각 모델 경로의 실행 수는 100회다. 점수는 10개 오류 사례를 각각 10회 반복해 산출했다. 정확한 최종 상태와 작업 성공 점수는 DeepSeek Flash가 각각 91로 가장 높았고, 중복 기록 발생 실행 수는 Ornith 1.5 35B가 38로 가장 많았다.

결과를 어디까지 볼 수 있나

이 수치는 모의 도구와 합성 사례, 단일 프롬프트로 구성한 테스트 환경에서의 행동을 보여준다. 일반적인 모델 순위로 해석할 수 없으며, 프롬프트를 바꾸면 결과가 크게 달라질 수 있다. 경로별 100회 실행에서 95% 구간은 대략 ±6~10%포인트다.

원자료는 Günther 웹사이트에서 공개됐으며 데이터 이용 허가는 CC BY 4.0이다. 원문은 이 시험 결과가 다른 프롬프트나 실제 서비스 환경에서도 어떻게 달라지는지는 밝히지 않는다.