원문 캡처 · github.com
원문 캡처 · github.com

SGLang은 대규모 언어 모델, 비전·언어 모델, 확산 모델을 제공하는 오픈소스 추론 프레임워크다. 에이전트 작업, 대규모 서비스 운영, 강화학습 롤아웃에 맞춰 최적화됐으며, 이미지와 동영상을 생성하는 SGLang Diffusion도 저장소와 sglang 파이썬 패키지에 포함돼 있다.

설치와 시작

도커 이미지를 내려받으면 SGLang과 의존성이 함께 설치된다.

bash
docker pull lmsysorg/sglang:latest

또는 활성화된 파이썬 환경에서 uv로 설치할 수 있다.

bash
uv pip install --prerelease=allow sglang

설치 후 모델을 실행하고 요청을 보내려면 빠른 시작 안내를 참고하면 된다. 사용할 모델과 하드웨어에 맞는 실행 명령이 필요하면 Cookbook에서 확인할 수 있다.

지원 하드웨어와 연동 프로젝트

SGLang은 GPU, TPU, NPU, CPU와 애플 실리콘 플랫폼을 지원한다. 아래 목록은 저장소에 제시된 대표 하드웨어다. 모델 호환성과 설정은 Cookbook 및 각 플랫폼 안내에서 확인할 수 있다.

  • 엔비디아: B200/B300/GB200/GB300, H100/H200/H800/H20, A100, RTX 30/40/50 시리즈, RTX 6000 Ada / PRO 6000, DGX Spark, Jetson Orin
  • AMD: Instinct MI300X, MI325X, MI350X, MI355X
  • Google TPU: v6e, v7. TPU용 프로젝트로 SGL-JAX와 SGL-torchtpu가 있다.
  • 인텔 GPU·CPU: Arc / Arc Pro B-Series GPU, Xeon CPU
  • 애플 실리콘: Metal / MLX를 사용하는 맥
  • 화웨이 어센드: A2, A3, 950PR/DT NPU
  • Moore Threads: MTT S5000 GPU

AWS Trainium, Alibaba T-Head PPU, Cambricon MLU, Qualcomm QAIC, MetaX, Hygon HCU/DCU, Iluvatar CoreX 등은 연동 작업이 진행 중이다.

SGLang을 중심으로 한 프로젝트도 용도별로 제공된다. SGLang Diffusion은 이미지와 동영상 생성을 위한 확산 모델 엔진으로 SGLang에 내장돼 있다. SGLang Omni는 음성 합성과 자동 음성 인식 모델 제공을 지원하며, SpecForge는 추측 디코딩용 초안 모델을 학습하고 SGLang으로 배포하는 데 쓰인다.

강화학습과 후속 학습 분야에서는 Miles, slime, AReaL, Tunix, verl이 롤아웃 생성에 SGLang을 연동한다. 배포와 오케스트레이션에는 SMG, RBG, llm-d, Ray Serve, NVIDIA Dynamo가 있으며, 라우팅·부하 분산·클러스터 오케스트레이션을 통해 추론 서비스를 배포하고 확장한다. Mini-SGLang, zero-to-sglang, DeepLearning.AI 강좌는 추론 엔진 설계와 텍스트·이미지 생성 학습 자료를 제공한다.

개발과 기여

개발 환경에는 개발 도구와 대부분의 의존성이 포함된 lmsysorg/sglang:dev 도커 이미지를 사용할 수 있다. 컨테이너 안에 SGLang 저장소를 복제하거나 마운트한 뒤, 저장소 루트에서 편집 가능 모드로 설치하면 로컬 파이썬 변경 사항을 테스트에 반영할 수 있다.

bash
pip install -e "python"

활성화된 가상 환경에서는 다음 명령으로 설치할 수도 있다.

bash
uv pip install --prerelease=allow -e "python"

컨테이너 설정과 테스트 절차는 개발 안내서에 설명돼 있다. 버그 수정, 문서 작성, 모델 지원, 성능 개선 기여를 받는다. 기여하려면 저장소를 포크하고 변경 사항용 브랜치를 만든다. 규모가 큰 변경은 GitHub 이슈나 Slack에서 먼저 논의할 수 있다. 변경 사항을 적용하고 관련 테스트와 회귀 테스트를 추가한 뒤, 제출 전에 pre-commit run --all-files를 실행한다. 마지막으로 변경 내용과 테스트 방법을 설명하는 풀 리퀘스트를 열고, 관련이 있으면 벤치마크나 정확도 평가도 첨부한다. 형식·테스트·풀 리퀘스트 안내는 기여 안내서, 문서 기여 방법은 문서 안내에서 확인할 수 있다.

SGLang은 비영리 오픈소스 조직 LMSYS가 관리한다. 기술 질문과 개발 논의는 Slack에서 할 수 있으며, 밋업·워크숍·오피스 아워 일정은 SGLang Events에 게시된다. 프로젝트 소식은 X, LinkedIn, LMSYS 블로그에서 확인할 수 있다. 문서, Cookbook, 로드맵, 릴리스 노트, 이슈 트래커, 기여 안내서도 공개돼 있다. 기업 도입·배포, 기술 컨설팅, 후원, 파트너십 문의는 sglang@lmsys.org로 받는다.

SGLang 측은 AI 연구소와 클라우드 플랫폼, 기업, 대학에서 프로덕션 워크로드에 이 프레임워크를 사용한다고 설명한다. 설계와 코드에는 Guidance, vLLM, LightLLM, FlashInfer, Outlines, LMQL의 설계와 코드도 참고·재사용했다고 밝히고 있다.