오픈 분류기 프로젝트 SCM은 모델 학습 과정에서 시도한 아이디어 48개의 실패와 측정값을 공개했다. 새 작업에 잘 대응하는 데에는 학습 데이터를 늘리거나 보정·경량화하는 방법보다 모델 크기를 키우는 방법이 효과를 보였다. 다만 수치는 대부분 단일 시드로 산출한 개발 세트 결과이며 독립적으로 재현되지 않았다.
SCM은 텍스트와 질문을 입력받아 선택지별 확률을 내는 모델군이다. 프로젝트는 각 실험 전에 채택·기각 기준을 정하고, 결과를 기록했다. 데이터 규모를 작업 그룹 12개에서 168개로 늘렸을 때 미학습 지식 질문의 정확도는 .733에서 .719로 낮아졌다. 반면 같은 데이터에서 모델을 키우자 정확도는 4B 모델의 .719에서 8B 모델의 .764, 14B 모델의 .810으로 올랐다. 전체 공개 결과에서는 0.6B 모델의 50.5에서 14B 모델의 81.0으로 상승했다.
다른 시도들은 일관된 개선으로 이어지지 않았다. 합성 데이터는 보안 분류의 정확도를 낮췄고, 작은 모델로의 지식 증류와 여러 경량화 방식도 기준을 통과하지 못했다. 새 작업에서 예측 집합의 정답 포함률을 보장하려는 보정은 목표치에 미달하거나, 선택지를 많이 반환해야 목표치에 도달했다. 한 온라인 보정 실험은 선택지 문구의 빈도만으로도 높은 점수를 얻는 누출이 확인돼 기각됐다.
결과를 해석할 때는 프로젝트가 측정한 잡음도 고려해야 한다. 같은 코드와 데이터로 두 번 적합했는데 보안 분류 정확도가 .466에서 .419로 달라졌다. 프로젝트는 단일 미학습 작업의 정확도 잡음이 약 .05일 수 있다고 밝혔다. 따라서 이보다 작은 차이를 확실한 개선으로 보기 어렵고, “여기서는 효과가 없었다”는 결과가 다른 데이터에서도 효과가 없다는 뜻은 아니다.
14B 모델도 사전 등록한 개발 기준 세 개 중 두 개만 통과했고, 보안 분류 기준에는 0.6%포인트 못 미쳤다. 공개 모델은 실험용으로 제공되며 보정이나 오류 보장을 제공하지 않는다. 질문당 선택지는 최대 20개까지 처리한다. 프로젝트는 가중치와 라이선스가 포함된 학습 데이터 목록, 벤치마크 중복 보고서를 공개했다.
- SCM 저장소와 Hugging Face 모델 카드에서 모델과 자료를 확인할 수 있다.
- 공개 결과 페이지에는 모델 크기별 결과와 벤치마크 한계가 정리돼 있다.
이 실험 기록은 다음 학습 계획을 세울 때 참고할 수 있지만, 수치를 그대로 일반화하기보다는 자신의 데이터와 기준으로 다시 검증해야 한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요