MicroLLM Lab에서 브라우저로 소형 언어 모델 7개를 시험함

MicroLLM Lab의 가장 큰 가치는 소형 언어 모델의 성능을 막연한 인상 대신 내 기기에서 직접 측정한 속도와 정답률로 비교하게 한다는 데 있습니다. 브라우저에서 여러 모델을 돌리고 결과를 기기에 저장하니, 별도 서버에 데이터를 맡기지 않고도 실험을 반복할 수 있습니다. 소형 모델을 실제 업무에 넣을지 고민하는 사람에게는 꽤 실용적인 출발점이 될 수 있겠네요.

다만 이 도구가 측정하는 정확도는 글쓰기 품질이 아니라 정규식이나 정확한 토큰 일치 여부입니다. 그러므로 점수가 높아도 설명이 설득력 있는지, 지시를 제대로 따르는지, 문맥을 오래 유지하는지는 알 수 없습니다. 측정하기 쉬운 문제의 정답률을 모델의 전반적인 능력으로 받아들이면 오판할 가능성이 큽니다. 반대로 1억 3,500만 매개변수 모델이 검사에 실패했다는 사실도 그 모델이 쓸모없다는 증거라기보다, 선택한 검사에 맞지 않았다는 뜻일 수 있습니다.

속도 비교 역시 숫자만 나란히 놓는다고 공정해지지는 않습니다. 이 도구는 브라우저와 기기에서 생성 속도, 테스트 실행 시간 등을 기록하지만, 실제 결과는 하드웨어와 브라우저 환경에 영향을 받을 수 있습니다. 따라서 다른 사람의 수치와 비교할 때는 모델 이름뿐 아니라 테스트 묶음과 기기 조건도 함께 봐야 합니다. 자기 기기에서 모델을 고르는 데는 유용하지만, 보편적인 순위표로 쓰기에는 한계가 있습니다.

인증서 이미지 기능은 결과를 공유하기 쉽게 만들지만, 기사에 나온 정보만으로는 그 인증서가 독립적으로 검증된 성적표라고 볼 근거가 없습니다. 기기 정보와 최고·지속 속도를 담아 내려받을 수 있다는 것과, 제삼자가 동일 조건으로 재현하고 확인했다는 것은 다른 이야기입니다. 그래서 인증서는 참고 자료나 실험 기록으로 받아들이는 편이 안전하고, 모델의 우월성을 입증하는 배지처럼 해석해서는 안 되겠습니다.

자바스크립트로 직접 벤치마크를 만들 수 있다는 점은 도구의 확장성을 높이는 동시에 주의도 요구합니다. 편집기 코드는 현재 출처에서 eval()로 실행된다고 명시되어 있으니, 출처를 신뢰할 수 없는 코드를 그대로 붙여 넣기보다 내용을 확인해야 합니다. 결국 이 도구는 작고 투명한 개인 실험실로는 매력적이지만, 평가 기준을 설계하는 사람의 판단까지 대신해주지는 않습니다. 숫자를 만드는 편리함보다 그 숫자가 무엇을 재고 무엇을 놓치는지 따지는 태도가 더 중요해질 겁니다.