StepFun이 에이전트 작업용 모델 Step 5 Preview를 공개했다. 총 600B개, 활성 27B개의 파라미터를 갖춘 희소 전문가 혼합(MoE) 모델로, 최대 100만 토큰의 컨텍스트를 지원한다. StepFun은 소프트웨어 개발과 전문 지식 업무에 강점이 있고 금융 작업에서 특히 뛰어나다고 소개하지만, 자료에는 성능 평가 수치가 제시되지 않았다.
모델은 저장소 단위의 코드 작업, 여러 도구를 반복 호출하는 장기 작업, 문서·차트·스크린샷 분석을 지원한다고 설명돼 있다. 소개문은 텍스트와 이미지, 동영상을 입력으로 받는다고 하지만, 사양 표의 입력 항목에는 텍스트와 이미지만 기재돼 있다. 최대 출력 길이도 최대 100만 토큰으로 표기했다.
운영에는 vLLM 또는 SGLang으로 OpenAI 호환 API를 제공하거나 Transformers로 오프라인 생성하는 방식이 안내돼 있다. 예시 구성은 FP8 기준 B300 4장 또는 H200 8장부터 시작하며, BF16 구성은 B300 8장 또는 H200 2개 노드의 GPU 16장을 사용한다. 실제 메모리 요구량과 사용할 수 있는 컨텍스트 길이, 동시 처리량은 체크포인트와 추론 프레임워크, KV 캐시 할당에 따라 달라진다. 100만 토큰 요청에 필요한 메모리가 확보된다는 보장은 없으며, 메모리가 부족하면 컨텍스트 길이나 동시 처리량을 낮춰야 한다.
BF16 체크포인트를 이용한 Transformers의 전체 파일 분할 변환·생성 작업 흐름은 아직 처음부터 끝까지 검증되지 않았다. 모델은 StepFun Model License 1.0을 따르며, Apache-2.0 스타일에 더해 사용·수정·배포에 관한 별도 출처 표시 및 상업적 라이선스 조건이 적용된다. Hugging Face 자료에는 이 모델이 추론 제공자에 배포되지 않았다고 적혀 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요