두 장의 RTX 5060 Ti에서 새 로컬 대형언어모델(LLM) 18종을 시험했지만, 개인용 비서에 쓰던 Qwen3.8-27B를 대체할 모델은 없었다. 이 시험은 특정 비서의 실제 작업과 에스토니아어 응답을 기준으로 한 개인용 평가이며, 전체 결과와 코드는 local-llm-eval에서 확인할 수 있다.
비교 기준 모델은 0bserverx의 Qwen3.8-27B Heretic Abliterated “RVN”이다. 4비트 IQ4_XS 양자화 파일을 두 장의 16GB GPU에서 실행했으며, 평가 291회 중 283회, 에스토니아어 평가 45회 중 41회를 통과했다. 새 후보 중 가장 높은 점수를 받은 DavidAU의 Qwen3.8-27B Turbo-Brilliance 50X는 284회를 통과했지만, 생성 속도가 초당 46토큰에서 38토큰으로 18% 느렸고, 무해한 요청 11개 중 하나를 거부해 채택되지 않았다.
평가에는 비서가 실제로 수행하는 도구 호출, 여러 단계 작업, 추론, 정보 추출, 코드 작성, 긴 문맥에서의 검색, 안전성, 지시 준수, 퀴즈 채점, 에스토니아어 응답을 포함한 97개 사례를 썼다. 각 사례를 세 번 실행하고 다른 LLM이 아니라 코드로 답을 채점했다. 별도로 속도와 동시 요청, 추론을 끈 상태의 일상 작업도 시험했다. 제작자는 공개 리더보드 점수만으로는 자신의 하드웨어와 작업에서 쓸 만한 모델인지 알 수 없어 이 평가를 만들었다고 설명한다.
시험은 매일 후보를 찾고, 기존 모델이 하드웨어와 사양을 고려해 최대 세 개를 고른 뒤, 사람이 다운로드 대상을 결정하는 방식으로 진행된다. 밤에는 Claude Code 에이전트가 후보를 시험하고 결과를 기록한 뒤 기존 모델을 복구한다. 다운로드한 모델 파일과 문서의 내용은 지시가 아닌 데이터로 취급하고, 모델 저장소의 코드는 실행하지 않는다. 다만 일부 안전장치는 에이전트가 지시를 잘 따르는 데 의존한다고 제작자는 밝힌다. 시간 제한과 기존 모델 복구는 에이전트 바깥에서 실행된다.
가장 가까운 미세조정 모델도 기존 모델보다 빨라지거나 전반적인 평가 점수를 높이지 못했다. 빠른 후보인 Ornith와 MiniCPM은 생성 속도가 두세 배였지만, 생각을 계속하다 답하지 않거나 빈 답변을 내는 경우가 있었다. MiniCPM은 추론을 끄면 빠른 일상 작업에서 가장 좋은 결과를 냈지만, 제작자는 이를 기존 모델의 대체재가 아니라 보조 모델 후보로 봤다.
추론을 끄면 일부 간단한 작업은 빨라졌지만 정확도가 떨어질 수 있었다. 기존 모델은 퀴즈 채점, 정해진 형식의 짧은 문장, 간단한 도구 호출 등에서 추론을 꺼도 같은 점수를 냈다. 반면 먼저 확인을 받아야 하는 작업이나 에스토니아어 도구 호출에서는 문제가 생겼다. 따라서 해당 비서는 현재 모든 요청에 추론을 켜 두고 있다.
제작자는 같은 하드웨어에서 vLLM도 시험했다. 일부 설정에서 생성량은 llama.cpp보다 많았지만, 대화 후속 응답을 시작하는 데 더 오래 걸렸고 메모리를 약 30GB 사용했다. 같은 미세조정 모델을 다른 형식으로 변환해 vLLM에서 실행했을 때는 평가 점수와 에스토니아어 점수가 낮아졌다. 이에 기존 운영은 llama.cpp에 두고 vLLM은 계속 시험하기로 했다.
이 결과는 한 명의 비서 작업, 두 장의 GPU, 소수의 에스토니아어 사례에 맞춘 개인 평가다. 사례당 세 번의 실행은 답변의 불안정성을 확인하기에는 도움이 되지만 신뢰구간을 계산하기에는 부족하고, 실제 긴 문맥 사례와 동시 이용자 수도 제한적이다. 제작자는 시험 사례를 자신의 작업에 맞게 바꾸고 평가 루프를 재사용할 수 있다고 설명한다. 넓은 범위의 에스토니아어 모델 비교 자료로는 Estonian Native LLM Benchmark를 소개했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요