Anemll이 iPhone 18에서 Qwen3.8-27B를 초당 최대 70토큰으로 구동했다고 밝혔다

iPhone 18에서 Qwen 3.8-27B를 초당 최대 70토큰으로 돌렸다는 Anemll의 발표에 저는 멈춰 섰습니다. A20 Neural Engine을 탑재한 기기에서 제시한 속도는 초당 15~60토큰이며, 24K 문맥도 확인했습니다. 저는 최고치보다 속도 폭이 먼저 눈에 들어옵니다. 문맥 길이에 따라 실제 체감이 달라질 수 있어서입니다.

Qwen3.8-27B의 기기별 속도 수치가 이어지는 가운데, M5 Max의 초당 168토큰은 전체 생성 속도가 아니라 목표 모델 계산치였습니다. 이번 발표는 디코딩 속도를 내세우므로, 두 숫자를 나란히 놓기 전에 계산치와 실제 생성 속도를 구분해야 합니다.

반가운 점은 27B급 모델을 휴대전화 안에서 직접 실행했다는 주장입니다. AI를 쓰려면 늘 서버에 연결해야 한다는 전제를 흔들 수 있다는 점에서 눈길이 갑니다.

속도는 문맥 길이에 따라 달라집니다. 기본 모델은 PrismML의 Bonsai-2를 재양자화(requantization)한 버전입니다. 가중치당 비트 수(bits per weight, bpw)는 1.5입니다. 키·값 캐시(key-value cache)는 int8, 델타 네트워크(delta network)는 FP16으로 처리했습니다. 게시물은 24K 문맥을 확인했다고 적지만, 초당 70토큰이 나온 문맥 길이는 따로 밝히지 않습니다. 긴 문서 작업에서는 최고치보다 그 길이에서 유지되는 속도가 더 중요한 수치입니다.

Anemll의 게시물에서 초당 15~60토큰과 최대 70토큰이 각각 어떤 문맥 길이에서 나온 값인지 확인하십시오. 24K 문맥 확인과 최고 속도 측정이 같은 조건인지 대조하면, 본인이 주로 쓰는 입력 길이에 맞춰 이 발표를 성능 기준으로 삼을 수 있습니다.

휴대전화에서 AI를 고르실 때 문맥 길이와 생성 속도 중 무엇을 먼저 확인하십니까?