Qwen3.8-Flash-Next가 RTX 6000 Pro에서 초당 184토큰을 낸다

96GB RTX6000 Pro MaxQ 한 장이 동시 요청 하나에서 초당 약 184토큰을 냈습니다. 대상은 에이전트형 코딩(agentic coding)용 Qwen3.8-Flash-Next입니다. 96GB RTX6000 Pro MaxQ 한 장에서 동시 요청 한 건으로 시험했습니다. 업체가 내건 자체 운영 비용은 출력 토큰 100만 개당 0.01달러 미만입니다. 속도와 비용을 함께 제시한 점은 눈에 들어오지만, 그래픽카드 구입과 전력까지 포함한 계산인지는 알 수 없습니다.

Mesh Applied가 Qwen3.8을 RTX 5090 한 장에서 초당 255토큰으로 처리한다고 내세운 보도와 이어집니다. 당시에는 측정 조건이 제시되지 않았지만, 이번에는 96GB RTX6000 Pro MaxQ와 동시 요청 수가 드러났습니다. GPU와 모델 구성이 달라 두 속도를 직접 비교할 수는 없습니다.

모델과 구동 도구를 공개해, 업체 서버를 거치지 않고 자기 장비에서 돌릴 선택지를 줍니다. 동시 요청 한 건과 네 건의 처리량(throughput)도 나란히 제시해, 혼자 쓰는 경우와 여러 사용자가 붙는 경우를 가늠할 단서를 줍니다.

초당 334토큰은 네 요청을 함께 처리한 수치이지, 각 요청이 그 속도를 받는다는 뜻은 아닙니다. 긴 문맥과 장시간 실행에는 비디오 메모리(VRAM) 96GB를 권장합니다. 48GB 카드 두 장도 쓸 수 있어, 보유 장비가 선택을 가릅니다. 업체가 내건 토큰당 비용에 그래픽카드 구입과 전력이 포함되는지는 제시되지 않습니다.

모델을 시험할 수 있다면, 자주 맡기는 작은 수정 과제를 하나 정해 한 요청으로 실행하고 결과물에 기존 테스트를 돌려 보십시오. 이어 네 요청을 동시에 보내 처리량뿐 아니라 각 요청의 완료 시간과 수정 성공 여부를 비교하십시오. 네 건 처리량은 늘어도 개별 응답이 늦거나 테스트가 깨지면, 공개된 속도가 내 작업의 체감과 다르다는 점을 확인할 수 있습니다.

코딩 모델을 고르실 때 처리량과 코드 검증 중 무엇을 먼저 확인하십니까?