DeepSeek가 희귀 답변 퀴즈 실험에서 가장 높은 점수를 냈다

Krillion은 제한 시간 안에 퀴즈 질문에 가장 희귀한 답을 내는 게임이다. 게임의 답변 목록과 점수 체계를 바탕으로 한 50게임 실험에서 DeepSeek V4.1 Flash 1017이 네 모델 중 가장 높은 성적을 거뒀다.

실험에는 Kimi K3.1 Pro, DeepSeek V4.1 Flash 1017, Claude Opus 5.5, 소비자용 하드웨어에서 실행할 수 있는 로컬 모델 Bonsai 2 27B가 쓰였다. 앞의 세 모델과 Bonsai는 Opencode에서, Opus는 Claude Code에서 실행했다. 도구와 사용자 설정은 끄고 맞춤 시스템 프롬프트를 사용했지만, 하네스에서 비활성화할 수 없는 정보가 남았을 가능성은 있다.

게임에서 가져온 350개 답변 세트로 50게임을 구성했다. 각 모델은 한 대화 안에서 같은 순서로 50라운드를 진행했다. 모델마다 질문은 7개였고, 질문 하나에 최대 세 번 답할 수 있었다. 거부된 답변은 점수를 잃지 않지만 시도 횟수는 소모하며, 처음 승인된 답변이 최종 답이 된다.

답변 세트에 없는 답도 유효할 수 있어 Parallel Decisions API로 웹 검색을 통해 확인할 수 있는 실제 답인지, 그럴듯하게 지어낸 답인지 판별했다. 실험자는 이 판정이 의도적으로 신중하게 작동해 지어냈거나 주제에서 벗어난 답변의 90% 넘게 거부했다고 밝혔다. 외부 판정이 승인한 답은 게임 점수 체계에 맞게 환산했다.

초기 프롬프트는 참가자 중 한 명인 Opus가 작성했다.

You are playing a trivia word game: 50 rounds of 7 prompts, one prompt at a time.
Each prompt asks you to name something, like "Name a city".

Scoring. An answer is accepted only if it is on the game's list of valid answers for that prompt (small typos are forgiven).
Accepted answers score by how few players give them:
- plankton (most players think of it): 75 points
- schooler: 200
- rare: 300
- deep cut: 400
- one in a krillion (almost nobody gives it): 500

You get up to 3 tries per prompt. A rejected answer costs nothing but a try.
Your first accepted answer is final, so you can't improve on it once it's accepted.
3 rejections score 0.

After each answer you'll see whether it was accepted and what it scored, and after each round your round score and running total.
Your goal is the highest total score over all 50 rounds.

Take as much time to think as you like before you answer.
Your reply itself must be only your answer: no explanation, no quotes, nothing else.

결과와 한계

DeepSeek는 여섯 질문 분야 가운데 엔터테인먼트를 제외한 다섯 분야에서 가장 높은 점수를 냈다. 엔터테인먼트에서는 Kimi가 근소하게 앞섰다. 점수 기준상 DeepSeek는 답변의 약 70%에서 ‘deep cut’이나 ‘one in a krillion’ 등급을 노렸다. Kimi가 그다음이었고, Opus는 더 안전한 답을 택하는 경향을 보였다. 재시도 기회가 있었는데도 답변의 1% 이상을 맞히지 못한 모델은 Bonsai뿐이었다.

완벽한 라운드는 없었다. 가장 가까운 사례는 21라운드에서 Kimi가 ‘krillion’ 등급 답을 7개 중 6개 낸 경우였다. DeepSeek는 한 라운드에서 4개를 넘기지 못했지만, 절반이 넘는 라운드에서 3개 또는 4개를 기록했고 한 번만 0개를 기록했다. 단일 라운드 최고 점수는 3,200점으로, 25라운드에서 DeepSeek와 Kimi가 함께 냈다.

실험에서는 모델별로 지식을 활용하는 방식뿐 아니라 답을 고르는 전략도 달랐다. DeepSeek는 거부된 답에 점수가 깎이지 않는다는 점을 활용해 위험한 답을 먼저 내고, 더 안전한 답을 대안으로 남기는 전략을 세웠다. 답변 목록에 외부 판정이 개입할 수 있다고 추측한 것도 결과와 맞아떨어졌다. DeepSeek는 다른 모델보다 외부 판정으로 점수를 받은 답이 많았고, ‘krillion’과 ‘deep cut’ 등급 답변 비중도 높았다.

다만 50게임은 작은 표본이며, 실험을 진행한 이는 연구소에서 일하지 않아 방법론이 더 나아질 여지가 있다고 밝혔다. 따라서 이 결과는 모델 전반의 능력을 입증하기보다, 제한된 조건에서 희귀한 답을 고르는 모델별 전략 차이를 보여주는 실험으로 읽을 필요가 있다.

실험자는 Krillion의 답변 세트를 사용했다. Bonsai의 설정과 관련해서는 PrismML 안내를 참고했다. 안내에 따르면 low는 공식 지원 설정이 아니며 xhigh에 가까운 성능을 낸다. 실험자의 컴퓨터에서는 xhigh가 생각하는 도중 거의 매번 시간 초과를 일으켜 low와 xhigh 모두 사용하지 않고 medium을 선택했다.