Station 에이전트가 논문의 발견 기준 62.7%를 재발견했다

Station은 세 편의 ICLR 구두 발표 논문에서 추린 발견 기준을 평균 62.7% 재발견했다. 비교 대상으로 제시된 Codex Multiagent-v2는 15.4%, AI Scientist-v2는 14.4~20.6%를 기록했다.

원 웬위 두(Wenyu Du)와 스티븐 정(Stephen Chung)은 여러 에이전트가 과학 생태계를 모의하는 환경 Station에서 개방형 과학 발견 능력을 평가한 논문을 2026년 10월 6일 arXiv에 제출했다. 중간 단계의 평가 지표가 없는 과제에서도 탐색을 이어가도록 설계한 접근을 시험한 연구다.

Station은 어떤 환경인가?

Station은 여러 에이전트가 상호작용하는 개방형 환경이다. 연구진은 에이전트가 탐색을 지속하도록 감독자 메커니즘과 주기적 메타 성찰을 더했다. 여러 연구자가 함께 실험하는 연구실을 떠올리면 쉽다. 다만 Station은 실제 연구실이 아니라, 에이전트들이 과학적 과제를 수행하도록 만든 시뮬레이션 환경이다.

무엇을 측정했나?

연구진은 최근 ICLR 구두 발표 논문 세 편에서 개방형 과제를 구성했다. 각 논문의 핵심 연구 질문만 에이전트에게 주고, 논문 결과는 숨겼으며 웹 접근도 막았다. 그런 뒤 원 논문의 발견을 개별 기준으로 나누고, 에이전트가 그중 몇 가지를 다시 찾아냈는지 측정했다.

Station은 기준의 평균 62.7%를 재발견했다. 비교군인 Codex Multiagent-v2는 15.4%, AI Scientist-v2는 14.4~20.6%였다. 절제 실험과 행동 분석에서는 감독자 메커니즘과 주기적 메타 성찰을 함께 넣었을 때 연구 범위와 탐색의 지속성이 개선되는 것으로 나타났다.

연구진은 정답 논문을 제공하지 않은 개방형 과제 두 개에서도 Station을 평가했다. 에이전트가 낸 일부 발견은 지식 기준일 이후 연구자들이 보고한 발견과 밀접하게 일치했다고 논문은 전한다. 이는 연구진이 제시한 결과이며, 초록에는 해당 발견의 구체적인 사례나 비교 절차가 담기지 않았다.

결과를 어디까지 볼 수 있나?

62.7%는 세 논문의 개별 발견 기준을 대상으로 한 평균이다. 과학적 발견 전반에서 같은 수준을 달성한다는 뜻은 아니다. 초록은 비교 실험의 세부 조건이나 결과의 재현 여부를 설명하지 않는다. 또한 논문에 제시된 결과는 아직 동료 심사를 거쳤는지 확인되지 않은 arXiv 제출본의 초록에 근거한다.

논문은 arXiv 초록, PDF, HTML 원문에서 확인할 수 있다. 원문 초록은 실험의 상세한 측정 조건과 두 메커니즘의 개별 효과 수치를 밝히지 않는다.