FrontierCS 2는 AI 에이전트가 컴퓨터과학 연구를 수행하는 능력을 평가하는 벤치마크다. 논문과 함께 공개된 코드에서 핵심 기여를 제거한 뒤 에이전트가 이를 다시 구현하게 하며, 비공개 평가 작업의 모든 지표에서 원래 구현을 넘어야 과제를 통과한다.
- 논문, Kaggle 벤치마크, GitHub 저장소, 실행 데이터셋
- 공개된 48개 과제와 평가기, 판정기는 GitHub 저장소에서 이용할 수 있다. AWS 계정에 설치하며, GPU 과제에는 Modal이 필요하고 에이전트 모델은 OpenAI 호환 제공자의 API 키를 사용한다.
- 한 번의 실행에는 5시간의 제한 시간이 적용된다. 비공개 평가 작업과 기준 구현은 판정 측에 남는다.
과제는 논문의 기여를 해당 논문의 저장소에서 삭제하는 방식으로 만든다. 에이전트는 저장소를 확인하고 수정안을 제출할 때마다 개발용 작업 점수와 메시지 하나를 받는다. 숨겨진 평가에는 에이전트가 볼 수 없는 작업이 추가된다. 마지막에는 제출할 버전을 에이전트가 직접 고르며, 이전 버전이 통과했더라도 최종 선택이 실패하면 그 결과를 그대로 기록한다.
통과 조건은 최종 제출물이 숨겨진 모든 작업에서 모든 평가 지표를 기준 구현보다 개선하는 것이다. 평균 점수가 더 높더라도 일부 지표나 작업에서 뒤처지면 통과하지 못한다. 예를 들어 SVG-EAR 과제에서는 지연 시간이 기준 구현의 0.96배 이하여야 하고, PSNR·SSIM·LPIPS는 정해진 범위 안에 있어야 한다. 각 과제 페이지에 판정 지표가 공개돼 있다.
주요 순위 지표인 통과율은 통과한 실행의 비율이다. 이와 별도로 각 과제의 최종 제출물은 숨겨진 평가에서 0~100점으로 채점되며, 최종 제출물이 없으면 0점을 받는다. 평균 점수 그래프는 실행별 점수에서 같은 과제의 기준 구현 점수를 뺀 값을 평균한다. 따라서 0은 기준 구현과 같은 수준을 뜻한다.
FrontierCS는 모델과 과제의 능력·난도를 한 척도에서 나타내는 FrontierCS Capabilities Index(FCI)도 제시한다. FCI는 각 지표를 통과했는지와 최종 점수가 기준 구현에서 얼마나 떨어져 있는지를 함께 반영한다. 과제의 난도를 나타내는 FrontierCS Difficulty Index(FDI)는 모델이 해당 과제를 절반의 실행에서 통과하는 데 필요한 FCI 수준이다. 기준 구현보다 평균 점수가 높아도 통과하지 못한 실행은 기준과 최소한 같은 수준으로만 반영한다.
FCI는 Epoch AI의 Epoch Capabilities Index(ECI)를 바탕으로 만든 지표다. FrontierCS는 원점수 대신 통과 여부를 결정하는 지표별 결과와 기준 구현 대비 최종 점수 차이를 사용한다고 설명한다. Kimi K2.7을 FCI 0의 기준점으로 삼지만, 이 모델은 순위표에 포함되지 않는다. 기준 구현은 자기 자신을 상대로 통과할 수 없어 FCI를 부여하지 않는다. 표시된 90% 구간은 과제를 복원 추출해 500회 다시 적합한 결과다.
사이트는 사례도 소개한다. ECCV 2026의 희소 어텐션 방법인 SVG-EAR에서는 12개 모델이 공개 코드보다 나은 결과를 내려고 했지만 통과한 모델은 없었고, GPT-6 Astra가 48개 검사 중 43개를 통과해 가장 근접했다. BBQ 하드웨어 우선순위 큐 사례에서는 Gemini 4 Argon이 같은 메모리를 사용하면서 기준 구현보다 최대 1.56배, Claude Opus 5.5가 레지스터를 메모리 대신 사용해 최대 1.84배 많은 초당 연산을 보였다. QuarterPIR 사례에서는 Muse Wonder 1.0이 프라이버시를 유지하면서 조회당 바이트를 기준 구현보다 27% 줄였다.
비공개 평가 세트에는 공개되지 않은 과제가 100개 넘게 포함되며, 향후 발표할 예정이다. 모델을 벤치마크에 추가하려면 모든 과제의 점수를 qmang@berkeley.edu와 wenhao.chai@princeton.edu로 보내야 한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요