Gemini 4 Argon 캐시는 짧은 요청에서 비용을 키울 수 있다

Induction AI는 Gemini 4 Argon이 4096토큰부터 캐시된다고 테스트했습니다. 요청 끝에서 2049토큰 앞에도 기준점을 둬, 새로 붙이는 내용이 짧으면 이전 내용 일부를 다시 보낸 것으로 계산해 비용이 늘 수 있습니다. 저는 캐시가 대화를 이어갈수록 비용을 덜어준다고 생각하기 쉬운데, 짧은 요청에서는 토큰을 더 보내야 유리할 수 있다는 점이 눈에 들어옵니다.

Gemini 4 Argon이 20만 줄 파이썬 코드베이스의 최적화를 도운 사례가 있습니다. 그 사례와 함께 보면, 모델의 작업 능력뿐 아니라 요청을 이어 붙이는 비용도 실제 사용을 좌우합니다. 이번 캐시 테스트는 Argon의 활용을 요청 단위의 비용 계산으로 이어 줍니다.

반가운 대목은 추가 내용이 2049토큰을 넘으면 직전 요청 전체가 캐시될 수 있다는 구체적인 기준입니다. 요청을 묶어 보낼 수 있는 작업에서는 이 기준을 활용해 비용을 줄일 여지가 생깁니다.

Induction AI의 테스트에서는 4000토큰 뒤 다음 요청에 캐시가 붙지 않았고, 4100토큰 뒤부터 작동했습니다. 캐시된 토큰은 일반 토큰 가격에서 95% 할인되지만, 새 내용이 2049토큰보다 짧으면 일부가 일반 가격으로 계산될 수 있습니다. 짧은 요청이 잦은 에이전트에서는 요청을 묶는 방식이 실제 비용을 바꿉니다.

시작 대화를 각각 4100토큰으로 맞춘 뒤, 한쪽에는 1000토큰, 다른 쪽에는 2100토큰을 추가하는 경우를 비용으로 계산해 보십시오. 캐시 단가가 붙는 토큰과 일반 단가로 남는 토큰을 나누면, 짧은 요청을 묶었을 때 지출이 줄어드는지 직접 확인할 수 있습니다.

짧은 요청을 자주 보내는 방식과 요청을 묶어 길게 보내는 방식 가운데, 어느 쪽 비용부터 확인하시겠습니까?