언어 규칙만으로 프롬프트를 줄이는 압축법이 제안됐다

언어 규칙만으로 대형언어모델(LLM)의 입력을 줄이는 방법이 제안됐습니다. 압축할 때 모델 계산 없이 CPU만 쓰고, 여러 과제에서 최근 전략과 비슷한 성능을 보였다고 연구진은 보고합니다. 저는 ‘비슷하다’는 말에 수치가 빠져 있어, 절감한 계산과 잃은 성능을 저울질하기 어렵다는 점이 마음에 걸립니다.

Hystax의 OptScale Kompressor도 코딩 에이전트 입력을 압축했습니다. Headroom 기본 설정보다 15.8% 낮은 비용을 보고했습니다. 다만 과제 해결률은 0.5%포인트 낮았습니다. 이번 연구는 압축에 모델 계산을 쓰지 않는 방식을 제안합니다. 비용 절감 폭과 구체적인 성능 수치는 제시하지 않습니다. 그래서 입력 압축이 실제 비용과 작업 성과를 어떻게 바꾸는지 살펴보는 흐름과 이어집니다.

규칙 조합을 미리 찾아 배포 때 적용하므로, 압축을 위해 매번 대형언어모델을 돌리지 않아도 됩니다. 모델이 읽을 입력만 줄이는 데 그치지 않고 압축 단계의 계산까지 덜어낼 가능성이 반갑습니다.

다만 최근 전략과 비슷한 성능은 가벼운 수준에서 중간 수준까지의 압축에서 나타났고, 더 강하게 줄이면 성능이 떨어졌습니다. 직접 응답과 원문 재구성 경로의 성능 양상도 서로 달랐습니다. 초록에는 구체적인 평가 수치와 비용 절감 폭이 없어, 어떤 압축 강도와 과제에서 이득인지 가늠하기 어렵습니다.

압축 도구를 쓰신다면 자주 쓰는 프롬프트를 골라 원문과 압축본을 같은 질문에 적용하고, 답의 정확도와 빠진 조건을 기록하십시오. 약하게 줄였을 때와 더 강하게 줄였을 때의 토큰 수와 처리 시간도 비교하면, 성능과 효율이 어디서 갈리는지 시험할 수 있습니다.

마지막으로 프롬프트를 압축했을 때, 답변 품질과 비용을 함께 비교해 보신 것은 언제입니까?