llama.cpp 실험 분기가 MoE 전문가를 더 활성화한다

한 대형 언어 모델 실행 도구의 커뮤니티 개발자 vagrillo가 추론 중 모델 안의 전문가를 더 활성화했습니다. 재학습 없이 시험한 모델은 Qwen 3.6 35B A4B+입니다. 이 변경은 아직 해당 도구의 주류 버전에 안정 기능으로 들어가지 않았습니다. 저는 가중치를 바꾸지 않고 계산 범위를 조정한다는 점이 흥미롭습니다. 다만 정확도 비교가 없다는 점이 더 오래 남습니다.

llama.cpp에서 추론 방식을 바꾸는 실험은 결과를 기준 실행과 대조하는 검증과도 맞닿습니다. mdma 제작 측은 GPU 계산 결과를 CPU 백엔드와 고정된 llama.cpp 참조 실행에 대조하는 절차를 설명했습니다. 이번처럼 계산 참여 범위를 바꾸는 실험도 같은 입력으로 결과를 견줘야 품질 변화와 실행 비용을 함께 알 수 있습니다.

기존에는 모델이 기본 상위 K개(Top-K) 전문가를 골라 계산에 참여시켰습니다. 이 실험은 가중치를 바꾸지 않고 참여 전문가 수를 늘립니다. 추가 전문가의 기여도는 라우팅 점수(routing score)와 감쇠 전략으로 낮춥니다. 모델을 다시 학습하는 대신 실행 중 계산 범위를 시험할 수 있다는 점은 반갑습니다.

실험 분기 옵션은 주류 버전의 llama-cli 옵션과 섞어 쓰지 않는 편이 좋습니다. 더 많은 전문가를 계산하면 지연과 메모리 대역폭 부담이 커질 수 있습니다. GSM8K·MMLU·HumanEval·장문맥·다국어 과제를 아우르는 체계적 비교는 아직 공개되지 않았고, 정확도 향상도 확인되지 않았습니다.

먼저 docs/moe-expansion.md와 도움말에서 실험 분기 옵션을 확인하십시오. 주류 버전 옵션과 섞지 말고, 같은 모델·프롬프트·문맥 길이로 두 설정을 비교하십시오. 첫 토큰 지연, 생성 속도, 메모리 사용량, 출력 품질을 함께 기록하십시오.

마지막으로 추론 설정을 바꿨을 때, 속도와 출력 품질 가운데 무엇을 먼저 확인하셨습니까?