DeepSeek는 2026년 1월 대형언어모델(LLM)의 지식을 신경망 매개변수 밖에 둔 해시 기반 조회 테이블 Engram으로 옮기는 구조를 제안하는 논문과 저장소를 공개했다. 이후 몇 주 사이 DeepSeek의 v4.1-Flash와 Qwen4 시리즈의 아키텍처 설계 미리보기인 Qwen3.8-Flash-Next가 Engram 매개변수를 포함해 공개됐다. 이 글은 두 모델의 구성이 추론 비용에 미치는 영향을 설명한다.

토큰 생성에 메모리가 중요한 이유

언어 모델은 한 번에 토큰 하나를 생성한다. 다음 토큰을 만들 때마다 입력 문맥을 전체 신경망에 통과시키고, 어휘에 포함된 각 단어의 확률을 계산한다. 선택한 토큰을 문맥에 더한 뒤 이 과정을 다시 거친다. 토큰 500개짜리 답변이라면 이 과정을 500번 반복하며, 각 단계는 앞 단계가 끝나기를 기다린다.

이 글에 따르면 연산보다 큰 비용은 각 단계에서 가중치를 메모리에서 GPU 연산 장치로 옮기는 일이다. 조밀한(dense) 27B 매개변수 모델은 가중치 54GB를 보유하므로 토큰 하나를 만들 때마다 54GB를 읽는다. 기업용 NVIDIA GPU인 H100의 메모리 대역폭은 약 3.35TB/s이며, 다른 오버헤드를 제외해도 대화 하나에서 초당 약 60토큰이 상한이다. 이 칩의 연산 성능은 초당 약 1,000조 부동소수점 연산이다. 연산에는 0.05ms, 메모리 읽기에는 16ms가 걸려 연산 장치가 시간의 99% 넘게 데이터를 기다린다는 설명이다. 생성 속도가 연산량보다 메모리 대역폭에 좌우되는 상태를 메모리 병목(memory-bound)이라고 부른다.

GPU의 고대역폭 메모리(HBM)는 초당 수 테라바이트를 전송한다. 반면 DDR5는 데스크톱에서 최대 약 100GB/s, 대형 서버에서 약 500GB/s 수준으로 HBM보다 몇 배 느리다.

MoE와 Engram의 역할

전문가 혼합(Mixture-of-Experts, MoE)은 토큰마다 일부 매개변수만 사용하는 방식이다. 예를 들어 Qwen3.6-35B-A3B는 매개변수 35B를 포함하지만 토큰마다 3B만 활성화한다. GPU 연산 장치가 읽어야 할 가중치는 줄지만, 사용하지 않는 전문가의 가중치도 HBM에는 계속 올라가 있어야 한다. 원문은 Qwen3.6-35B-A3B의 경우 70GB가 HBM에 상주하고 토큰마다 6GB를 읽는다고 설명한다. 또한 출력 품질 면에서 Qwen3.6-27B가 더 나은 모델로 널리 여겨진다고 덧붙인다.

Engram은 지식을 신경망 밖의 조회 테이블에 두는 방식이다. 언어 모델은 텍스트를 토큰으로 바꾸지만, ‘New York’처럼 여러 토큰으로 표현되는 하나의 개념도 있다. 기존 모델은 텍스트를 추론하는 데 필요한 연산과 지식을 모두 신경망 매개변수에 담는다. DeepSeek가 제안한 방식은 현재 토큰과 앞선 한두 토큰으로 짧은 묶음, 즉 키를 만들고 이를 해시해 큰 테이블에서 임베딩 벡터를 가져온 뒤 신경망 초기 계층의 내부 상태에 더한다.

조회는 상수 시간으로 이뤄지며 행렬 곱셈이 필요 없다. 키는 모델이 이미 가진 토큰 ID만으로 정해지므로, 토큰 처리 전에 필요한 테이블 행을 알 수 있다. 이에 따라 테이블은 호스트 메모리나 NVMe SSD에 둘 수 있다고 설명한다. DeepSeek V4.1-Flash의 경우 196B 매개변수 테이블은 호스트 메모리에, 활성 매개변수 16B를 처리하는 본체는 HBM에 둔다. 토큰마다 PCIe를 통해 수십 KB를 가져온다는 구성이다.

Engram 테이블이 있으면 ‘New York’의 ‘York’를 처리할 때 미국 도시를 가리킨다는 정보를 즉시 가져올 수 있다는 것이 이 글의 설명이다. 전통적인 모델은 이런 정보를 신경망 계층을 거치는 계산으로 처리한다. 논문에서 Engram 테이블을 제거하자 사실성 벤치마크 점수는 원래의 29~44%로 떨어졌지만, 독해력 점수는 81~93%를 유지했다. 이 결과를 두고 글은 사실 지식은 테이블에, 추론은 테이블 밖에 있었다고 해석한다.

추론 비용과 모델 운영

Engram은 매개변수의 위치에 따라 필요한 메모리를 나눈다. 토큰마다 읽어야 하는 추론 매개변수는 HBM에 둬야 하지만, 지식 매개변수는 미리 가져오는 데 토큰당 몇 KB면 DDR5나 SSD에서 읽을 수 있다는 설명이다. 글에 따르면 V4.1-Flash는 전체 약 750B 매개변수 중 196B, Qwen3.8-Flash-Next는 176B 중 51B를 조회 테이블에 둔다. 두 모델 모두 약 4분의 1에 해당하는 매개변수가 GPU를 더는 필요로 하지 않는다는 분석이다. MoE와 Engram을 결합하면 활성 매개변수는 Qwen이 6B, DeepSeek가 16B로 유지된다.

이 조합을 활용해 Qwen3.8-Flash-Next를 12GB GPU에서 실행한 사례도 소개한다. 매개변수 125B 모델에서 6B를 활성화하고 51B n-그램 조회 테이블을 사용하며, 전문가 매개변수는 호스트 메모리에, 조회 테이블은 NVMe 드라이브에 둔다. 글은 이 구성에서 초당 약 20토큰을 생성한다고 전한다.

자체 호스팅이나 미세조정을 고려하는 조직에는 지식 테이블을 업무에 맞게 바꾸는 문제가 남는다. 이전 글에서는 기업 업무에 더 작은 모델을 쓸 수 있다고 주장했지만, Engram의 방대한 일반 지식이 특화 업무에 도움이 되는지는 별개의 문제다. 보험 청구를 읽는 모델에 페니실린 발견자가 누구인지 알려줄 필요는 없을 수 있다. 다만 글은 Engram 모델을 미세조정하는 검증된 방법이 아직 없으며, 테이블을 줄이거나 교체하는 일도 해결되지 않은 문제라고 지적한다.

글의 결론은 MoE가 토큰마다 옮기는 데이터양을 줄였지만 HBM 필요량은 그대로 둔 반면, Engram은 HBM에 올려야 하는 매개변수 자체를 줄인다는 것이다. 두 방식을 함께 쓰면 추론을 담당하는 부분은 GPU에, 지식은 더 저렴한 메모리나 SSD에 둘 수 있다. 글은 두 연구소가 몇 주 간격으로 같은 매개변수 분할 구조를 적용한 모델을 공개한 점을 업계 흐름의 신호로 본다. 모델 운영자는 추론용 HBM 대역폭과 지식용 저비용 저장 용량을 따로 계획할 수 있고, 특화 모델을 만들 때는 모델이 아는 내용과 추론 방식이 분리된 산출물이 될 가능성도 있다.