Qwen3.8가 RTX 5090 한 장에서 초당 255토큰을 처리한다

한 오픈소스 최적화 업체는 Qwen3.8가 RTX 5090 한 장에서 초당 255토큰을 처리한다고 내걸었습니다. 하지만 본문에는 측정 조건이 없습니다. 숫자보다 그 빈칸이 먼저 눈에 들어옵니다. 여러 이용자의 합산 속도인지, 한 사람의 생성 속도인지에 따라 같은 255가 전혀 다른 경험을 뜻하기 때문입니다.

RunInfra가 DeepSeek V4.1 Flash를 초당 378토큰의 출력 속도로 제공한다고 한 소식과 맞닿습니다. 한쪽은 서비스 속도, 다른 쪽은 로컬 GPU 실행 속도를 제시합니다. 숫자의 단위가 같아 보여도 측정 환경은 달라, 속도만으로 두 선택지를 견줄 수 없습니다.

mesh.applied는 후처리와 양자화, 커널 특화 기법으로 오픈소스 모델을 최적화해 로컬 하드웨어에서 실행한다고 소개했습니다. 성능을 로컬 장비에서 얻으려는 시도는 반갑습니다.

다만 별도로 제시된 Qwen3.8-Flash-Next-NVFP4 안내의 권장 장비는 RTX6000 한 장입니다. 4명이 사용할 때 초당 334토큰은 합산 속도입니다. 이 수치는 RTX 5090의 255와 장비 및 동시 사용자 조건이 달라 직접 비교할 수 없습니다. 저는 255를 성능 비교의 결론보다, 같은 조건으로 확인할 출발점으로 읽습니다.

먼저 mesh.applied의 모델 안내에 초당 255토큰의 측정 조건이 추가됐는지 확인하십시오. 실행할 수 있는 환경이 있다면 같은 입력으로 한 번에 한 요청과 네 요청을 각각 시험하고, 전체 속도와 사용자별 속도를 따로 적어 보십시오. 합계는 높아도 사용자별 속도가 낮다면, 그 숫자가 내 이용 방식의 체감과 다르다는 뜻입니다.

로컬 모델을 고를 때, 평소에는 한 번의 응답 속도와 여러 사람이 함께 쓸 때의 속도 중 무엇을 먼저 확인하십니까?