AI 에이전트 비용은 검색과 모델 배치로 줄일 수 있다

AI 에이전트를 운영하는 Terraphim은 토큰 비용을 낮추는 방법으로 검색 결과를 저가 모델이 먼저 요약하게 하기, 작업 단계에 따라 모델을 나누기, 프록시로 요청을 적절한 제공자에게 보내기를 제안한다. 다만 제시한 절감 효과는 종단 간 비용으로 측정한 결과가 아니며, 일부 수치는 자체 로그나 공개 가격을 이용한 예시다.

코딩 에이전트는 매 요청마다 대화 기록을 제공자에게 다시 보내는 경우가 많다. 저장소 검색 결과와 도구 출력이 더해지면 한 세션에서 십만 토큰 이상의 문맥을 반복해서 처리할 수 있다. Terraphim은 이런 입력 토큰 비용을 줄이기 위해 세 가지 방식을 실제 운영 환경에 적용하고 있다고 설명한다.

첫째는 원시 검색 결과를 값싼 모델이 먼저 요약하는 방식이다. 로컬 검색 도구가 코드나 지식 기반에서 관련 내용을 찾고, 저비용 모델이 출처를 확인할 수 있는 참조와 함께 짧은 답으로 정리한다. 이후 고성능 모델에는 중복된 발췌문 전체 대신 요약과 필요한 참조만 전달한다.

Terraphim은 오픈소스 terraphim-clients에 포함된 terraphim-grep으로 이 방식을 구현한다. 이 도구는 선별한 지식 그래프 시소러스를 이용해 검색어를 확장한 뒤 로컬 결과의 순위를 매긴다.

export OPENROUTER_MODEL='deepseek/deepseek-v4-flash-0731' terraphim-grep provider \
   --thesaurus docs/src/thesaurus.json \
   --haystack code --paths crates -n 10 \
   --answer --force-rlm --json

--answer는 충분성 검사 결과에 따라 답변 생성을 요청하고, --force-rlm은 요약 경로를 강제한다. 선택된 발췌문만 OpenRouter를 통해 DeepSeek-flash 계열 모델로 전달된다. --search-only를 쓰면 요약을 완전히 끄고 LLM 클라이언트도 만들지 않으므로, 환경에 API 키가 있어도 네트워크 호출이 발생하지 않는다.

Terraphim이 확인한 한 실행에서 원시 발췌문은 505자, 출처 위치를 포함한 근거는 1,108자, 요약 답변은 440자였다. 이에 따르면 고성능 모델에 전달된 문맥은 기존 방식의 약 40%였지만, 측정한 것은 토큰이 아니라 문자 수다. 명령줄 도구가 토큰 사용량을 보여주지 않아 이 비율은 대략적인 방향으로만 봐야 한다. 또 참조 열 개를 모두 포함한 답변 객체는 1,918자였다. 이를 통째로 전달하면 절감 효과가 사라질 수 있으므로 검증에 필요한 참조만 함께 보내야 한다.

둘째는 작업 단계에 맞춰 모델 비용을 배분하는 것이다. Terraphim은 작업을 V자형 생애주기로 나눈다. 왼쪽의 조사·설계·명세와 오른쪽의 검토·검증에는 고성능 모델을 쓰고, 토큰을 많이 소비하는 구현·테스트 작성·기계적 검증 반복에는 빠르고 저렴한 모델을 배치한다. Terraphim은 전자의 판단 오류가 아낀 토큰보다 더 큰 비용을 낳을 수 있다고 설명한다.

구현과 테스트 반복에는 grok, MiniMax, Kimi 고속 모델을 정액제 구독으로 사용하고, 야간 에이전트에는 opencode-go 구독 모델을 쓴다고 밝혔다. 판정 패널에는 Kimi K2.5를 사용하며, Terraphim의 설명에 따르면 이 모델은 검토 한 건에 약 9초가 걸리고 인간 검토자와 판정이 90% 일치한다.

공개 API 가격을 기준으로 한 예시에서는 입력 1억 토큰과 출력 2천만 토큰을 모두 고성능 모델로 처리하면 800달러가 든다. 이 중 80%를 중간급 모델로 보내면 토큰 수는 그대로지만 비용은 480달러로, 40% 줄어든다. 이는 실제 청구액이 아니라 공개 가격을 적용한 계산이다. 이 방식은 토큰을 덜 쓰는 것이 아니라 고성능 추론이 필요하지 않은 단계에서 토큰당 비용을 낮춘다. 단, 에이전트가 모든 단계에서 처음 선택한 모델을 계속 쓰지 않도록 작업 단계를 명시해야 한다.

셋째는 에이전트와 각 모델 제공자 사이에 LLM 프록시를 두는 것이다. Terraphim의 terraphim-llm-proxy는 로컬호스트에서 실행되며 OpenAI 및 Anthropic 호환 엔드포인트를 제공한다. 프롬프트 내용이나 각 경로의 속도·가격에 따라 요청을 라우팅한다.

프록시는 Aho-Corasick 문자열 검색으로 마크다운 분류 체계와 프롬프트를 대조한다. 예를 들어 모델 ID와 관계없이 아키텍처를 단계별로 생각해 달라는 프롬프트를 think 체인으로 보낼 수 있다. Terraphim은 자체 로그에서 연속된 세 요청이 서로 다른 상황에 따라 각각 다른 제공자에 전달됐으며, 클라이언트에는 이 차이가 드러나지 않았다고 밝혔다. 적격 경로를 첫 토큰까지 걸리는 시간이나 비용 등급으로 정렬할 수도 있다. 비용 기준에서는 무료, 구독, 종량제 경로 순으로 선택하며, 시나리오별로 속도와 가격 중 어느 쪽을 우선할지 정한다.

제공자 장애에 대비한 대체 경로도 설정할 수 있다. Terraphim은 파이프로 구분한 폴백 체인을 사용하며, 설정을 믿는 데 그치지 않고 /etc/hosts에서 기본 제공자의 도메인을 로컬호스트로 돌리는 방식으로 장애를 주입해 확인한다고 설명한다.

모델을 자주 바꾸면 프롬프트 캐시가 줄어들 수 있다는 점도 고려해야 한다. 캐시는 세션이 아니라 모델별로 적용된다. Terraphim의 실제 코딩 세션 로그에서는 세션 중간에 모델을 바꾼 사례의 82%에서 캐시 읽기가 이전 수준의 10% 미만으로 떨어졌다. 캐시가 적용된 10만7천 토큰 접두부가 캐시되지 않은 11만 토큰 입력으로 바뀐 사례도 있었으며, 같은 텍스트의 비용은 캐시가 적용됐을 때보다 약 10배 높았다. 따라서 매 요청마다 무작위로 경로를 바꾸기보다 세션이나 시나리오 단위로 모델을 정해 유지하는 편이 낫다고 Terraphim은 제안한다.

Terraphim은 토큰 절감액을 종단 간으로 측정했다고 주장하지 않는다. 검색 요약 사례는 문자 수를 쟀고, 모델 조합 사례는 공개 가격을 적용한 계산이며, 캐시 감소율은 한 운영자의 세션 로그에서 나온 수치로 전체 에이전트 운영을 대표하는 벤치마크가 아니다. Terraphim은 현재 수락된 작업당 품질 조정 비용을 보고할 계측 체계를 만들고 있다고 밝혔다.

관련 자료: terraphim-grep과 역할 기반 검색, AI 에이전트를 위한 V자형 엔지니어링 생애주기.