Plato는 실제 직무를 바탕으로 만든 과제 300개를 모은 Computer Work Val v1.0을 공개했다. 10개 분야 36개 직무의 업무를 시뮬레이션 환경에서 시험하고 훈련하는 데 쓸 수 있으며, 과제는 210개 가상 앱에서 수행된다.
Plato가 공개한 결과에서 Gemini 4 Argon은 pass@1 58.5%로 가장 높은 점수를 기록했다. Claude Opus 5.5는 52.5%, GPT-6 Astra는 43.1%, Grok 4.7은 39.9%, Muse Wonder는 39.6%였다. 각 모델 이름에 붙은 [high]는 원문에 표시된 조건이다.
과제는 실제 업무 도구를 본뜬 시뮬레이터에서 진행한다. 예를 들어 회계 담당자가 Excel, Gmail, Stripe, Mercury에서 자료를 확인해 손익계산서를 작성하고 최고재무책임자에게 이메일로 보내는 과제가 있다. 시뮬레이션에는 익명화된 데이터와 가상의 이름·계정이 들어가며, 검증기는 결과물의 항목과 형식, 거래 분류, 첨부 여부 등을 채점한다.
평가 점수 외에도 과제 제작자는 실패가 실제 업무에서 초래할 피해를 심각도, 되돌리기 어려운 정도, 영향을 받는 범위, 발견까지 걸리는 시간으로 평가한다. Plato는 과제마다 같은 직종 전문가 두 명이 현실성과 공정성을 검토하고, 내부 팀이 환경 결함과 보상 해킹, 프롬프트와 채점 기준의 불일치도 살핀다고 밝혔다.
과제는 금융·회계 75개, 엔지니어링·디자인 64개, 법률·컴플라이언스 42개 등을 포함해 총 10개 분야와 36개 직무에 걸쳐 있다. 기여자는 관련 기관에서 일하고 업무에 AI를 많이 활용하며 해당 분야 경력이 3년 이상이어야 한다. 이후 의사소통 및 전문성 평가, 과제 제작 교육, 3시간의 실무 시험과 최종 검토를 거친다.
Plato는 이 환경을 테스트와 훈련에 모두 사용할 수 있다고 설명한다. 이용을 원하는 조직은 Plato에 문의해 환경 이용을 요청할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요