TokenGate가 긴 입력 처리를 최대 11.3배 빠르게 한다

TokenGate는 긴 입력 사전 처리 속도 최대 11.3배, 메모리 사용량 최대 3.4배 절감을 보고합니다. 기존 언어 모델에 학습 가능한 선택 모듈을 더해 지정된 문서 구간에서 중요한 토큰만 고릅니다. 제게 특히 눈에 들어온 점은 질문과 지시문은 남겨 두고 문서 부분만 줄인다는 설계입니다. 요청 자체를 덜어내지 않고 읽을 분량을 줄이기 때문입니다.

Tokenade는 AI 코딩 도구의 입력을 압축해 토큰 비용을 줄이고, TokenGate는 기존 언어 모델에 학습 가능한 선택 모듈을 더합니다. 둘 다 긴 입력 부담을 줄이려 하지만 작동 방식이 다르며, TokenGate는 작업별 정확도와 사전 처리 속도를 함께 공개했습니다.

전체 입력을 처리하는 기준 모델과 달리, TokenGate에서는 위쪽 계층이 지정된 문서 구간의 상위 K개 토큰만 처리합니다. K=2,000에서 NIAH 정확도는 0.993에서 1.000으로, RepoBench-P의 ES는 0.285에서 0.550으로 올랐습니다. 긴 입력을 줄이면서 일부 작업의 점수까지 높였다는 점이 반갑습니다.

저장소는 1.4~11.3배 범위가 더 긴 문맥 구간에서 나온 결과라고 설명합니다. K=2,000의 사전 처리 속도 향상은 데이터셋별 2.1~6.3배였습니다. 이 측정은 배치 크기 1, H100 GPU 한 대에서 이뤄졌습니다. 다른 장비나 입력에서도 같은 폭의 향상이 나온다고 기대할 근거는 아직 없습니다.

같은 긴 문서 몇 건을 골라 현재 모델과 TokenGate의 K=2,000을 비교하십시오. 첫 토큰까지 걸리는 시간(time to first token, TTFT)과 답변의 근거·정확도를 함께 기록하십시오. 시간만 줄고 필요한 근거가 빠진다면 그 설정은 업무에 맞지 않으며, 둘 다 유지되면 더 낮은 K도 시험해 볼 만합니다.

긴 문서를 처리할 때 속도와 답변의 근거 가운데 무엇을 먼저 확인하십니까?