세레브라스가 3조 매개변수 모델을 59개 웨이퍼로 나눈다

세레브라스가 그린 약 3조 매개변수 모델 Kimi K3의 실행 구성은 웨이퍼 59장으로 짜입니다. 회사는 이 구성으로 초당 1000~2000개 이상의 토큰(token)을 처리할 수 있다고 소개합니다. 저는 속도 숫자보다 59장이 어떤 메모리 조건에서 나온 숫자인지가 더 오래 남습니다.

Moonshot의 Kimi K3가 대형 모델 경쟁의 한 축으로 언급된 소식과 이어집니다. 세레브라스의 설명은 모델 경쟁이 실행 하드웨어의 구성으로도 확장되는 모습을 보여줍니다.

흥미로운 점은 59장이 막연한 추정치가 아니라 모델 구성과 메모리 계산으로 나온다는 데 있습니다. 칩 안 메모리는 한 장당 44GB이고, 선형 어텐션 층(linear attention layer)은 약 16GB라 한 장에 두 층씩 올립니다. 키-값 캐시(KV cache)가 필요한 밀집 층(dense layer)은 한 장에 하나씩 둡니다. 그 결과 선형 층 69개에 35장, 밀집 층 24개에 24장, 합계 59장이 필요합니다.

이 계산은 평균 요청 크기 256k 토큰, 4비트 가중치 양자화(weight quantization), 8비트 키-값 캐시를 가정한 예시입니다. 동시에 처리할 요청 수는 밀집 층 웨이퍼에 키-값 캐시용으로 남긴 메모리 크기에 좌우됩니다. 초당 토큰 수만으로는 한 사람의 답변 속도와 여러 요청을 합친 속도를 구별하기 어렵습니다. 세레브라스는 같은 출력 생성 속도에서 전력당 토큰 수를 비교해야 실행 효율을 판단하기 좋다고 설명합니다. 그 기준은 처리량 숫자를 전력 효율과 연결합니다.

성능표에서 평균 요청 크기와 동시 요청 수, 전력당 토큰 수를 함께 확인하십시오. 직접 시험할 수 있다면 같은 길이의 요청을 하나씩 보낸 경우와 여러 개를 동시에 보낸 경우를 비교해 보십시오. 동시에 보낼 때만 초당 토큰 수가 크게 오르면, 그 숫자는 개인의 답변 속도보다 전체 처리량을 보여줍니다.

마지막으로 AI 서비스의 초당 토큰 수와 실제 답변 대기 시간이 다르다고 느낀 것은 언제입니까?