Tokenade가 AI 코딩 도구를 오픈소스로 공개했다

Tokenade가 AI 코딩 에이전트와 모델 사이에서 불필요한 입력을 줄이는 도구를 오픈소스로 공개했다. 제작자는 긴 빌드 로그와 이미 문맥에 포함된 파일 내용 등을 압축해 토큰 비용을 낮춘다고 설명한다.

Tokenade는 Rust로 만든 단일 실행 파일이다. 명령 출력 압축, 파일 읽기 중복 제거, 코드 검색, MCP 응답 최적화, 웹 검색 결과의 마크다운 변환, 오래된 문맥 압축 등을 제공한다. 압축된 내용은 해시를 통해 참조하며 tokenade expand-ref로 원래 바이트를 복원할 수 있다고 안내한다. 자격 증명은 Tokenade가 기록·캐시·압축하는 데이터에서 제거한다고 밝혔다.

제작자는 Tokenade가 THOL(Token-Harness Optimizer Leaderboard)에서 1위를 기록했으며, 장시간 세션에서 비용을 39% 줄였다고 주장한다. 측정 방법과 전체 결과는 THOL 페이지에서 확인할 수 있다.

npm으로 설치하려면 Node.js 18 이상이 필요하다. 설치 후 명령을 실행해 코딩 에이전트에 Tokenade를 연결할 수 있다.

npm install -g @tokenade/cli
tokenade install # detects your coding agents and wires Tokenade in
tokenade healthcheck # optional: verify the wiring

플랫폼별 바이너리는 선택적 npm 패키지로 제공된다. 이 패키지 설치가 건너뛰어지면 postinstall이 GitHub Release에서 파일을 내려받아 Ed25519 서명 매니페스트의 SHA-256 값과 대조한다. Linux(x64 glibc/musl, arm64), macOS(x64, arm64), Windows(x64, arm64)를 지원한다. GitHub Releases에서 사전 빌드 파일을 받을 수도 있다.

Claude Code, OpenCode, Kilo Code, Copilot CLI, Hermes, Cline, T3 Code는 명령 압축과 중복 제거, 웹·MCP·코드 검색 등 전체 통합을 지원한다. 다른 에이전트는 일부 기능만 지원하며, 예를 들어 Codex CLI와 Cursor에는 웹 대체 기능과 읽기 중복 제거가 제공되지 않는다. 지원 에이전트와 기능에서 차이를 확인할 수 있다.

절감 기록과 대시보드는 로컬에 저장된다. 네트워크 연결은 사용자가 요청한 웹 기능, 최초 임베딩 모델 다운로드, GitHub Release의 서명된 매니페스트를 읽는 일일 업데이트 확인에 사용된다고 안내한다. 자동 업데이트는 TOKENADE_NO_AUTO_UPDATE=1 또는 tokenade upgrade --off로 끌 수 있다.

프로젝트는 MIT 또는 Apache 2.0 라이선스로 제공된다. 자세한 내용과 소스 코드는 Tokenade 저장소, 기여 방법은 CONTRIBUTING.md, 보안 문제 안내는 SECURITY.md에서 확인할 수 있다.