TL;DR

  • Yolanda와 Spencer가 Codex의 도구 호출 출력을 압축해 입력 토큰과 캐시 비용을 줄이는 CLI를 공개했으며, 작업의 컨텍스트 사용량에 따라 비용을 최대 30% 절감함.
  • 구독 한도를 모두 사용하고 1인당 하루 700달러의 API 비용을 지출한 뒤 압축 모델을 미세 조정했으며, 토큰 수를 29.6% 줄임.
  • 프록시와 에이전트 궤적 보존에 맞춰 학습한 미세 조정 Qwen 모델을 활용해 도구 호출 결과를 모델에 반환하기 전에 제거하고, KV 캐시는 그대로 둠.
  • 이 CLI는 대화형 에이전트가 아닌 코딩 에이전트용이며, 파일 검색 정확도와 에이전트 궤적 보존, 품질에 최적화됨.
  • CLI는 무료이며, 로컬 Codex를 감싸는 프록시로 작동하고 ZDR을 적용해 질의를 보관하지 않으며, codex --uncompress로 압축을 끌 수 있음.

압축 도구와 비용 절감

  • Yolanda와 Spencer가 Codex 비용을 줄이기 위해 직접 구축한 토큰 압축 도구를 공유함.
  • 구독 한도를 모두 사용하고 API에 1인당 하루 700달러를 지출한 뒤, Codex의 도구 호출 출력을 줄이는 압축 모델을 미세 조정함.
  • 입력 토큰과 캐시 사용량을 줄여 토큰 수를 29.6% 절감했으며, 현재 Codex에서 기본 설정으로 사용함.
  • 작업이 컨텍스트에 얼마나 의존하는지에 따라 비용을 최대 30% 줄일 수 있도록 최적화함.

작동 방식과 적용 대상

  • 캐시에 영향을 주지 않도록 프록시와 미세 조정 Qwen 모델을 사용함.
  • 에이전트 궤적을 보존하도록 학습한 모델이 도구 호출 결과를 모델에 돌려보내기 전에 제거하며, KV 캐시는 그대로 유지함.
  • 이 도구는 대화형 에이전트가 아니라 코딩 에이전트를 대상으로 하며, 파일 검색 정확도와 궤적 보존, 품질에 최적화됨.

설치, 보안 및 통합

  • CLI는 무료로 사용할 수 있으며 코드가 GitHub에 공개됨.
  • 다음 명령으로 CLI를 설치할 수 있음: curl -fsSL https://install.everestagi.com/install.sh | sh && source ~/.config/everest/shell.sh
  • 로컬 Codex를 감싸는 프록시로 작동하고 ZDR을 적용해 질의를 보관하지 않음.
  • Codex에서 기본으로 켜져 있으며, 압축을 원하지 않을 때는 codex --uncompress로 비활성화할 수 있음.
  • 제품에 통합해 저렴한 비용으로 상위 모델을 제공하려는 경우 SDK와 API 키를 제공할 수 있음.
  • 코드 링크: https://github.com/spenmcke/compress.