Paper Instruments는 전문 지식 업무용 에이전트 모델 Ultramarine 1 Flash를 공개했다. 회사가 평가한 지식 업무 벤치마크 6종에서 기반 모델 GLM-5.3 Flash보다 평균 4.1점 높았고, 토큰은 6.5% 적게 생성했다. 결과는 Paper Instruments가 제시한 평가이며, 코딩 벤치마크에서는 기반 모델보다 낮은 점수를 기록했다.
모델은 금융·법률·컨설팅·운영 분야의 비정형 업무를 겨냥한다. 회사는 실제 사용자 작업 기록 대신 합성 데이터만으로 학습 과제를 만들었다. 과제는 19개 실무 분야와 88개 환경 유형을 아우르며, 각 과제에는 업무 지시, 문서와 서비스가 있는 작업 환경, 결과물을 평가하는 채점 기준이 포함된다.
핵심은 정답을 자동으로 확인하기 어려운 업무를 평가할 기준을 만드는 방식이다. Paper Instruments는 각 평가 항목을 하나의 명확한 조건으로 정하고, 정해진 모범 답안과 표현이 달라도 실질적으로 요구를 충족하면 인정하도록 설계했다고 설명한다. 회사는 실제 사용자 기록에는 명시되지 않은 가정이 섞일 수 있고, 전문가가 과제를 직접 작성하면 비용이 커진다고 보고 합성 과제 방식을 택했다.
회사 내부 벤치마크 PI Knowledge Work에서 Ultramarine 1 Flash는 59.3점을 기록했다. 과제당 비용은 0.13달러로, 최대 추론 설정에서 Claude Fable 5는 57.8점·8.19달러, GPT-5.6 Sol은 55.1점·2.09달러였다. Claude Opus 5.5보다 2.6점, GPT-6 Sol보다 2.0점 낮았으며, 두 모델의 비용은 각각 6.96달러와 1.26달러였다. 비용은 2026년 10월 개발자 공식 API 요금을 기준으로 계산했다.
6개 지식 업무 벤치마크 가운데 Ultramarine 1 Flash는 JobBench와 PI Knowledge Work, FrontierFinance에서 비교 대상 중 가장 높은 점수를 얻었다. AutomationBench에서는 DeepSeek V4.1 Flash에, DiligenceBench에서는 Gemini 3.8 Flash에, APEX-Agents 1.1에서는 Gemini 3.8 Flash와 Claude Fable 5에 뒤졌다. 코딩 벤치마크인 Terminal-Bench 2.1과 DeepSWE에서도 GLM-5.3 Flash를 비롯한 여러 비교 모델보다 낮은 점수를 보였다. 벤치마크마다 실행 환경과 채점 방식이 다르며, 일부 비교 점수는 공개 순위표나 모델 개발자가 제공한 결과다.
- JobBench, FrontierFinance, AutomationBench, DiligenceBench, APEX-Agents 평가 결과를 바탕으로 비교했다.
- 기반 모델 정보는 GLM-5.3-Flash 모델 카드에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요