InferSSD는 모델 파일을 SSD에서 불러와 RAM이나 VRAM보다 큰 혼합 전문가(MoE) 모델을 실행하는 도구다. 현재 DeepSeek-V4.1-Flash-1017과 Muse-Spark-Open을 지원하며, 브라우저 채팅 인터페이스와 OpenAI 호환 API를 제공한다.
두 모델은 공개된 GGUF 파일로 시험했다. DeepSeek 파일은 총 763B 파라미터 중 8~16B가 활성화되고, Muse 파일은 총 816B 중 42B가 활성화된다. DeepSeek-V4.1-Flash-1017 GGUF는 Q8_0 형식이며, 제작 측 설명에 따르면 라우팅된 전문가는 기본 4비트 MXFP4를 유지하고 FP8 텐서는 8비트 Q8_0으로 변환한다. Muse-Spark-Open GGUF는 Unsloth의 UD-Q4_K_XL 파일이다.
벤치마크는 4K 프롬프트와 출력 256토큰 조건에서 측정했다. 디코드 속도는 129~256번째 토큰 구간이며, 단위는 토큰/초다. 괄호 안 수치는 같은 하드웨어에서 llama.cpp와 비교한 InferSSD의 속도 배수다. MacBook Pro에서는 Colibri가 공식 Safetensors를 CPU로 실행하고, llama.cpp와 InferSSD는 GGUF를 Metal로 실행했다. 그 밖의 측정 조건은 벤치마크 설명에서 확인할 수 있다.
| 모델 | 하드웨어 | llama.cpp 사전 입력/디코드 | Colibri 사전 입력/디코드 | InferSSD 사전 입력/디코드 |
|---|---|---|---|---|
| DeepSeek-V4.1-Flash-1017 | MacBook Pro | 5.929 / 0.873 | 0.708 / 0.437 | 28.766 (4.85×) / 2.874 (3.29×) |
| DeepSeek-V4.1-Flash-1017 | RTX 5060 Ti | 6.950 / 0.242 | 7.020 / 0.900 | 75.100 (10.81×) / 2.550 (10.54×) |
| DeepSeek-V4.1-Flash-1017 | RTX 5090 | 8.060 / 0.867 | 39.210 / 1.878 | 164.500 (20.41×) / 7.270 (8.39×) |
| DeepSeek-V4.1-Flash-1017 | DGX Spark | 2.730 / 1.608 | 0.826 / 0.356 | 127.500 (46.70×) / 7.260 (4.51×) |
| Muse-Spark-Open | MacBook Pro | 3.140 / 0.153 | N/S | 14.503 (4.62×) / 1.097 (7.17×) |
| Muse-Spark-Open | RTX 5060 Ti | 3.410 / 0.059 | N/S | 52.100 (15.28×) / 0.219 (3.71×) |
| Muse-Spark-Open | RTX 5090 | 4.000 / 0.155 | N/S | 106.600 (26.65×) / 1.520 (9.81×) |
| Muse-Spark-Open | DGX Spark | 1.740 / 0.120 | N/S | 83.900 (48.22×) / 2.140 (17.83×) |
N/S는 Muse가 현재 Colibri에서 지원되지 않는다는 뜻이다. 측정 장비는 48GB 통합 메모리의 MacBook Pro, 8GB 시스템 메모리와 16GB VRAM을 갖춘 RTX 5060 Ti, 32GB 시스템 메모리와 32GB VRAM을 갖춘 RTX 5090, 128GB 통합 메모리의 DGX Spark다. SSD는 각각 2TB 내부 저장장치, 2TB PCIe 4 ×4, 2TB PCIe 5 ×4, 4TB PCIe 5 ×4를 사용했다. 통합 메모리는 CPU와 GPU가 공유한다.
InferSSD는 Apple Silicon이 탑재된 macOS 또는 NVIDIA GPU가 있는 Linux에 설치할 수 있다. 현재 소스에서 직접 빌드하며 미리 빌드된 패키지는 제공하지 않는다. 빌드에는 기기에 따라 약 2~12분이 걸린다. 설치에는 Git, Python 3.9 이상, C/C++ 컴파일러가 필요하다. macOS에는 Xcode Command Line Tools가, Linux에는 CUDA 툴킷, liburing 헤더, cgroup v2를 지원하는 systemd가 추가로 필요하다. 설치 프로그램은 비공개 환경에서 작동하며 sudo를 사용하지 않는다.
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh
설치 후 모델을 터미널에서 실행하거나 웹 UI와 API 서버를 시작할 수 있다.
# Chat in your terminal
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
# Or start the web UI and an OpenAI-compatible API at http://127.0.0.1:8080
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Muse를 실행할 때는 unsloth/Muse-Spark-Open-816B-A42B-GGUF를 지정한다. serve를 실행하면 브라우저에서 http://127.0.0.1:8080을 열거나 OpenAI 호환 클라이언트의 주소로 http://127.0.0.1:8080/v1을 사용하면 된다. 첫 실행 때 약 470GiB의 모델 파일을 ~/.local/share/inferssd/models에 내려받고 기기를 측정한다. --model-dir /path/on/ssd로 저장할 드라이브를 지정하거나, 이미 파일이 있다면 -m /path/to/first-shard.gguf를 사용할 수 있다. 메모리 사용량을 직접 지정하는 설정은 없으며, InferSSD가 이용 가능한 메모리를 사용한다.
InferSSD는 macOS/Metal과 Linux/CUDA를 지원하고 Windows 지원은 진행 중이다. 프로젝트는 Apache-2.0 라이선스를 적용하며, 모델 가중치에는 각 배포자의 라이선스가 적용된다. 설치·업데이트 안내, 작동 방식, 벤치마크 방법을 참고할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요