연구 아이디어 다양성 높인 8B 모델이 실험 가능성도 유지했다

서로 다른 연구 아이디어를 한꺼번에 내도록 학습한 8B 모델이 등장했습니다. 연구진의 오염 없는 벤치마크에서 창의적 효용 점수가 높았습니다. Claude Opus 4.8과 GPT-6 Astra보다 높은 결과입니다. 저는 점수만큼이나 아이디어를 묶음으로 내도록 설계했다는 점에 눈이 갑니다. 연구에서는 그럴듯한 답 하나보다 여러 출발점을 비교할 수 있는 편이 쓸모 있을 때가 많기 때문입니다.

작은 모델이 특정 지표에서 큰 모델과 맞선다는 결과는 검색 재정렬 실험에서도 나왔습니다. ConditionalQA에서 9B 결정 모델은 27B 모델과 상위 5개 정답률이 같았습니다. 첫 결과 정확도와 답변 보류 판단에는 한계가 있었습니다. 이번 8B 모델도 창의적 효용과 개념 검증에서 강점을 보인 만큼, 작은 모델의 성능은 과제별 지표로 살펴볼 수 있습니다.

흥미로운 점은 새로움과 품질을 함께 다루는 방식입니다. 모델은 한 번에 여러 아이디어 카드를 내고, 각 카드의 품질뿐 아니라 앞서 나온 카드와 얼마나 다른지도 묶음 단위로 평가받습니다. 세트 단위 강화학습(set-level reinforcement learning)으로 다양성을 높이면서 실행 가능성도 살피려는 설계가 반갑습니다.

전문가 네 명의 예비 평가에서 아이디어는 Claude Opus 4.8만큼 유망하고, 독창성은 약간 더 높다는 평을 받았습니다. 이 평가는 실제 연구 성과까지 확인한 절차는 아닙니다. 실행 가능성은 코딩 에이전트의 개념 검증 실험에서도 Claude Opus 4.8과 비슷했습니다.

연구 아이디어를 모을 때 같은 논문과 질문을 8B 모델과 평소 쓰는 모델에 주고, 각각 아이디어 묶음을 받아 보십시오. 이름을 가린 뒤 새로움과 실험 가능성을 따로 평가해 보십시오. 새로움만 높아지고 다음 실험을 구체적으로 정하기 어렵다면, 그 차이가 여러분의 연구에서도 그대로 나타나는지 확인할 수 있습니다.

새 연구 아이디어를 고를 때, 새로움과 실험 가능성 중 무엇을 먼저 확인하십니까?