2025년 6월 23일 제출된 논문 OMEGA는 수학 문제에서 대규모 언어 모델(LLM)이 익숙한 풀이를 넘어 얼마나 일반화하는지 평가하는 벤치마크를 제시한다. 연구진은 문제 복잡도가 높아질수록 최상위 모델의 성능이 크게 떨어지고, Qwen 계열 모델을 미세조정해도 새로운 풀이 전략을 만드는 능력은 거의 나아지지 않았다고 보고했다.
OMEGA는 기하학, 정수론, 대수학, 조합론, 논리, 퍼즐 영역의 문제 생성기를 바탕으로 학습·시험 문제 쌍을 만든다. 풀이의 정확성은 기호, 수치 또는 그래픽 방식으로 검증했다. 벤치마크는 세 종류의 일반화를 구분한다.
- 탐색적 일반화는 같은 문제 영역에서 더 복잡한 사례에 기존 문제 해결 기술을 적용하는 능력이다.
- 구성적 일반화는 따로 학습한 추론 기술을 새 문제에 맞게 결합하는 능력이다.
- 변혁적 일반화는 익숙한 접근에서 벗어나 새롭고 이례적인 전략을 채택하는 능력이다.
연구진은 여러 최상위 LLM을 평가한 결과 문제 복잡도가 높아질 때 성능이 급격히 낮아졌다고 밝혔다. Qwen 계열 모델을 세 일반화 설정에 맞춰 미세조정하자 탐색적 일반화는 눈에 띄게 개선됐지만, 구성적 일반화는 여전히 제한적이었고 변혁적 추론은 거의 개선되지 않거나 전혀 나아지지 않았다.
논문은 OMEGA가 기계적으로 문제를 푸는 능력과 수학적 창의성을 구분해 평가하는 기반을 마련한다고 설명한다. 이는 연구진의 평가 결과이며, 논문은 2025년 6월 제출된 버전이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요