OSWorld 2.0에서 Opus 5.5는 72.6%, GPT-6 Astra는 81.8%를 기록했다고 소개됐다. 하지만 Fig는 이 점수가 실제 지식 업무의 복잡성을 보여주지는 못한다고 주장한다.
Fig는 실제 업무를 수행하는 AI 시스템을 만들려면 정해진 목표를 따라가는 작업 기록을 넘어, 여러 일이 얽히고 중단됐다가 다시 이어지는 환경에서 수집한 데이터가 필요하다고 주장한다. 컴퓨터 사용 에이전트나 모델, 평가 도구를 만드는 팀이 관심을 가질 만한 문제 제기다.
지금의 작업 기록은 무엇을 담나?
컴퓨터 사용 에이전트는 보통 사람이거나 에이전트가 컴퓨터를 조작한 과정을 단계별로 기록한 데이터로 학습한다. 이 기록에는 목표를 설명하는 지시와 화면에 보인 내용, 입력, 그에 따른 변화가 담긴다. 각 단계는 현재 상태와 목표에 맞춰 어떤 행동을 해야 하는지 학습하는 신호가 된다.
Fig는 데이터의 품질을 관찰 가능성과 분포라는 두 축으로 설명한다. 관찰 가능성은 실제 입력과 상태 변화가 기록에 얼마나 정확히 담겼는지를 뜻한다. 이미지나 영상에 키보드·마우스 입력, 접근성 트리, 웹페이지의 문서 구조 정보, 앱 전환 경위를 함께 기록하면 이 간극을 줄일 수 있다.
분포는 수집 데이터가 어떤 앱과 화면, 시작 상태, 해결 경로, 실패 상황을 포괄하는지를 가리킨다. Fig는 관찰 가능성은 더 정밀한 측정 도구를 만드는 엔지니어링 문제로 개선돼 왔지만, 분포의 확장은 주로 개별 작업의 범위 안에서 이뤄졌다고 본다. 앱을 늘리고 해결 방법을 다양하게 하거나 과제를 길게 만들어도, 작업은 여전히 하나의 목표를 가진 정돈된 환경에서 진행된다는 지적이다.
왜 실제 업무의 맥락이 필요한가?
Fig의 주장은 업무의 어려움이 정해진 목표를 위한 단계 수를 늘리는 데서 생기지 않는다는 것이다. 사람은 여러 일을 오가며 메시지에 답하고 알림을 무시하거나, 작업을 멈췄다가 새로 들어온 정보를 반영해 다시 시작한다. 진행 중인 다른 일과 보류·중단된 일의 맥락도 함께 관리한다.
따라서 실제 업무를 담은 학습 데이터에는 행동이 어떤 목표를 위한 것인지, 다른 일이 어디까지 진행됐는지, 무엇이 중단됐는지 같은 주변 맥락이 보존돼야 한다고 Fig는 주장한다. 업무에는 미리 정해진 지시나 완료 기준이 없는 경우도 있다. 무엇을 해야 하는지 정하고, 결과물을 어떤 순서로 만들지 판단하며, 언제 충분히 끝났다고 볼지 결정하는 과정까지 데이터에 담아야 한다는 설명이다.
Fig가 제안하는 방향은 실제 데스크톱에서 여러 작업이 얽혀 진행되는 과정을 끊김 없이 기록하는 것이다. 여기에는 수천 단계에 이르는 비정형 작업 흐름과 행동 전후의 판단, 알림이나 긴급 요청이 끼어드는 상황이 포함된다. 에이전트가 관련 정보를 가려내고 맥락을 이어받아 중단된 일을 다시 시작하는 법도 학습해야 한다고 본다.
이 주장은 Fig의 관점이다. 글은 OSWorld 2.0 점수와 정형화된 과제의 한계를 언급하지만, 제안한 방식으로 수집한 데이터가 에이전트 성능을 얼마나 높이는지는 제시하지 않는다. 구체적인 데이터 수집 방법과 비용, 실제 적용 결과도 밝히지 않는다. Fig의 글
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요