브라우저 소형 언어 모델은 블로그 질문에 자주 틀렸다

블로그 글을 검색해 답을 요약하는 브라우저 기반 실험 사이트 “ask my blog”는 검색 결과 네 개를 소형 언어 모델에 전달해 두 문장으로 답하게 한다. 제작자는 여러 모델을 비교한 결과, 350MB 이하 모델은 답을 충실하게 요약하는 데 거의 쓸 수 없었고, 기본 모델로 선택한 Qwen3-0.6B도 정답률이 절반 수준이었다고 밝혔다.

브라우저에서 검색하고 답하기

이 사이트는 검색 증강 생성(RAG) 방식으로 동작한다. 질문과 관련된 글의 문단 네 개를 찾고, 관련도가 기준에 못 미치면 모델을 호출하지 않는다. 모델은 WebGPU를 지원하면 이를 사용하고, 그렇지 않으면 WebAssembly를 이용해 CPU에서 실행한다. 답변은 두 문장이 완성되면 멈춘다.

모델을 내려받지 않고 문단 검색만 할 수도 있다. 모델을 쓰려면 버튼을 눌러야 하며, 선택한 모델 파일은 Hugging Face에서 내려받아 브라우저에 캐시된다. 용량은 수백 MB에 이를 수 있고, 캐시를 지우는 버튼도 제공한다. 입력한 내용은 기기 밖으로 전송되지 않는다고 제작자는 설명한다.

작은 모델의 답변을 평가한 결과

평가에는 블로그가 답할 수 있는 질문 30개와 답할 수 없는 질문 15개가 사용됐다. 모든 모델에 같은 문단 네 개와 프롬프트를 제공하고, Opus 5.5가 답변을 충실한 답변·근거 없는 답변·무응답으로 분류했다. 제작자가 직접 판정한 20개 중 16개에서 판정이 일치했다. 아래 수치는 답할 수 있는 질문 30개 중 충실한 답변 수와 답할 수 없는 질문 15개에 대한 창작 답변 수다.

350MB 이하 모델은 30개 질문 중 충실한 답변이 최대 세 개에 그쳤고, 답을 알 수 없는 질문에도 대부분 그럴듯한 내용을 만들어냈다. 예컨대 블로그에 Llama 70B를 실행할 GPU 정보가 없는데도 일부 모델은 오래된 그래픽카드나 존재하지 않는 제품명을 추천했다. 검색 결과가 질문과 맞지 않으면 답변도 틀릴 수 있다. 실제로 블로그의 블룸 필터 설명을 묻는 질문에 모델은 검색된 문단이 용례와 데모에 관한 내용뿐인데도 핵심 개념을 잘못 설명했다.

Qwen3-0.6B는 579MB로 제작자가 정한 용량 기준을 넘지만, 평가에서 충실한 답변이 15개였다. 이 때문에 사이트의 기본 모델로 선택됐다. 더 작은 모델 세 개도 직접 골라 시험할 수 있다. 다만 결과는 모델과 평가에 사용된 질문, 검색된 문단에 한정되며 일반적인 성능을 입증하는 것은 아니다.

검색 관련도 기준을 높이면 명백히 주제에서 벗어난 질문은 걸러낼 수 있다. 하지만 블로그가 실제로 다루는 질문과 주제가 비슷한 ‘근접 질문’도 높은 점수를 받아, 이를 차단하려면 답할 수 있는 질문 30개 중 13개까지 거부해야 했다. 따라서 관련도 기준만으로 근거 없는 답변을 막기는 어렵다고 제작자는 설명한다.

답변을 길게 허용했을 때도 충실도는 낮아졌다. 두 문장 제한에서 Qwen3-0.6B는 30개 중 15개에 충실하게 답했지만, 네 문장에서는 9개, 여섯 문장에서는 5개로 줄었다. Gemma 4 E2B는 각각 28개, 26개, 24개였다. 제작자는 사용자가 요약을 믿기 전에 근거로 제시된 문단을 확인하라고 권한다.

제작자는 클라우드 GPU를 계속 실행하는 비용과 API 이용료도 비교했다. Google Cloud의 NVIDIA L4는 시간당 약 0.71달러로, 한 달 내내 켜 두면 약 516달러가 든다. 반면 Haiku 5.5는 평가 질문 45개에 답하는 데 0.006달러가 들었다고 밝혔다. 이 비용 비교는 글에 제시된 당시 가격과 사용량 가정에 따른 것이다.