Funnel은 사내 데이터 에이전트 플랫폼 Reef를 구동하는 여러 언어 모델을 시험하고 있다. Reef는 그래프로 표현한 회사의 세계 모델, 재무·SaaS·CRM 지표를 신중하게 모델링한 정형 운영 데이터, 구조화된 주장으로 추출한 비정형 고객 대화를 다룬다. 에이전트가 탐색하기에 상당히 복잡한 환경이다.
최근 Funnel은 무작위 A/B 테스트로 오픈 웨이트 모델 GLM-5.2와 Claude Opus 4.8을 비교했다. 새로운 사용자 작업마다 모델을 무작위로 배정했고, 이후 대화와 심층 조사, ‘explorations’라고 부르는 대화형 대시보드 제작에서도 같은 모델을 사용했다.
관찰 기간에 GLM의 모델 호출당 평균 응답 시간은 7.8초로, Opus의 18.1초보다 두 배 이상 빨랐다. 하지만 작업 전체를 보면 결과가 달랐다. GLM은 도구를 66% 더 많이 호출해 평균 19회 사용했고, Opus는 평균 11회 호출했다. 개별 응답은 더 빨랐지만 GLM은 작업을 끝내는 데 평균 14% 더 오래 걸렸다.
두 차례 실행에서 GLM은 성공한 동일 SQL 쿼리를 각각 113회와 254회 실행했다. 한 사례에서 모델은 20행 미리보기만 제공하는 도구에서 더 많은 데이터를 가져오려 했다. 모델은 이 제한을 알아채지 못하고 같은 쿼리를 반복 실행했다. 호출은 매번 성공했지만 에이전트는 진전을 이루지 못했다. 도구 호출이 성공했다고 해서 반드시 유용한 것은 아니다.
Funnel은 Kimi K2.6과 Qwen3.8 27B에서도 비슷한 경향을 관찰했다. Qwen은 GLM보다 도구를 두 배 더 적극적으로 사용했다.
문제를 모델 탓으로만 돌리면 더 큰 맥락을 놓친다. 저장된 에이전트 지침 일부는 실제로 존재하지 않는 Athena 테이블과 필드를 참조했다. 또 다른 문제는 모호한 도구 사용 계약, 반복 호출을 막는 안전장치의 부재, 데이터 검색 방법을 충분히 명확히 설명하지 않은 지침이었다. Opus는 이런 문제 대부분을 극복했지만, 문제 자체가 사라지는 것은 아니다.
에이전트 하네스는 모델의 지능만큼 중요하다. 모델마다 같은 지침과 도구, 중단 조건을 다르게 해석한다. 모델을 교체하면 이전에는 드러나지 않았던 시스템 설계상의 가정이 모습을 드러낼 수 있다.
오픈 웨이트 모델을 기존 에이전트 플랫폼에 통합하는 엔지니어에게 Funnel은 세 가지를 제안한다.
- 도구 사용 계약을 명확히 한다. 미리보기와 전체 결과를 구분하고, 페이지네이션을 분명히 제공하며, 성공 응답이 실제로 무엇을 의미하는지 알린다.
- 에이전트 동작에 한계를 둔다. 의미상 같은 호출이 반복되는지 감지하고, 적절한 실행 예산을 적용하며, 저장된 지침이 실제 스키마와 일치하는지 검증한다.
- 시스템 전체를 벤치마크한다. 유용한 작업 완료 여부, 정확성, 지연 시간, 도구 사용 효율, 청구 비용, 입력 캐싱의 효과를 측정한다.
오픈 웨이트 모델은 비용과 성능, 제어 측면에서 새로운 기회를 제공한다. 이런 이점을 실현하려면 API 엔드포인트를 바꾸는 것만으로는 부족할 수 있다.
추신: GLM-5.2는 이제 문제없이 작동한다. 실제로 Funnel은 현재 GLM-5.3을 사용한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요