Funnel은 사내 데이터 에이전트 플랫폼 Reef에 여러 언어 모델을 적용해 실험했다. Reef는 그래프로 표현한 회사 지식 모델, 재무·SaaS·CRM 지표를 담은 구조화된 운영 데이터, 고객 대화에서 추출한 구조화된 주장 등 세 가지 지식 영역을 다룬다.
Funnel은 무작위 A/B 테스트로 오픈 웨이트 모델 GLM-5.2와 Claude Opus 4.8을 비교했다. 새 사용자 작업마다 모델을 무작위로 배정하고, 후속 대화와 심층 조사, ‘explorations’라고 부르는 대화형 대시보드 생성까지 같은 모델을 사용했다.
관찰 기간에 GLM-5.2의 모델 호출당 평균 응답 시간은 7.8초로, Opus의 18.1초보다 두 배 이상 빨랐다. 하지만 작업 전체를 보면 GLM-5.2는 평균 19회 도구를 호출해 Opus의 11회보다 66% 더 많이 호출했고, 작업 완료에는 평균 14% 더 오래 걸렸다. 두 차례의 실행에서는 성공한 동일 SQL 쿼리를 각각 113회와 254회 실행했다.
Funnel이 든 한 사례에서 모델은 20행 미리보기만 제공하는 도구에서 더 많은 데이터를 얻으려 했다. 제한을 파악하지 못하고 같은 쿼리를 반복 실행했다. 호출은 모두 성공했지만 작업은 진전되지 않았다. Funnel은 Kimi K2.6과 Qwen3.8 27B에서도 비슷한 경향을 관찰했으며, Qwen은 GLM보다 도구를 두 배 더 적극적으로 사용했다고 밝혔다.
Funnel은 문제를 모델 탓으로만 돌릴 수 없다고 설명했다. 실제로 존재하지 않는 Athena 테이블과 필드를 참조하는 저장된 에이전트 지침, 모호한 도구 사용 조건, 반복 호출을 막는 보호 장치의 부재, 데이터 검색 방법에 대한 불충분한 지침도 문제를 드러냈다. Opus는 이런 문제 대부분을 극복했지만, 문제 자체가 사라지는 것은 아니라고 덧붙였다.
오픈 웨이트 모델을 기존 에이전트 플랫폼에 통합하려는 엔지니어에게 Funnel은 세 가지를 제안했다.
- 도구의 사용 조건을 분명히 한다. 미리보기와 전체 결과를 구분하고 페이지 나누기를 명확하게 제공하며, 성공 응답이 실제로 무엇을 뜻하는지 알린다.
- 에이전트의 행동 범위를 제한한다. 같은 기능을 하는 호출의 반복을 감지하고 적절한 실행 예산을 적용하며, 저장된 지침이 실제 스키마와 일치하는지 검증한다.
- 시스템 전체를 평가한다. 유용한 작업 완료 여부, 정확성, 지연 시간, 도구 효율성, 청구 비용, 입력 캐싱의 효과를 측정한다.
Funnel은 오픈 웨이트 모델이 비용·성능·제어 측면에서 기회를 제공하지만, 그 이점을 얻으려면 API 엔드포인트만 바꾸는 것 이상이 필요할 수 있다고 밝혔다. 덧붙여 현재는 GLM-5.3을 사용한다고 전했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요