체스 추론 에이전트(Chess Reasoning Agent)를 훈련했다

0.8B, 2B, 9B 규모의 언어 모델로 체스를 두는 추론 에이전트를 훈련했다. 에이전트는 보드 상태를 추적하는 도구를 호출해 상대적으로 적은 매개변수로도 좋은 성능을 내도록 설계됐다.

데모 코드는 GitHub에서 확인할 수 있다. 프로젝트 설명에 따르면, 이 접근법은 모델이 보드 상태를 직접 추적하는 대신 도구에 맡기고 수를 어떻게 탐색할지 추론하도록 한다.

Deepseek R1 논문에 관한 글이 나온 뒤 검증 가능한 보상 기반 강화학습(RLVR)에 관심을 갖게 됐다. 해당 논문은 ‘생각’ 토큰을 사용해 언어 모델이 수학 문제처럼 검증 가능한 과제를 풀 수 있음을 보였다. 또 말이 되지 않는 사고 과정을 생성하지 않도록 지도 학습 예시로 추론 과정을 먼저 보완할 필요가 있다고 설명했다.

체스는 검증 가능한 보상을 적용하기 좋은 과제로 제시된다. 게임의 결과뿐 아니라 개별 수의 강도, 그 수를 정당화하는 개별 주장도 검증할 수 있기 때문이다. 기존 체스 엔진 연구의 주된 목표가 경기력 극대화였다면, 나는 최선의 수만 찾기보다 설명 가능하고 직관적인 수를 우선하는 엔진을 지향한다. 체스 엔진의 역사와 정성적 분석에 관한 글은 여기와 여기에서 볼 수 있다.

처음에는 도구를 쓰지 않는 순수 언어 모델을 훈련하려 했지만, RTX 4090으로 다룰 수 있는 기반 모델은 약 30억 매개변수까지였다. 작은 모델에서는 실제로 없는 위협에 반응하거나 불법 수를 두는 등 현실의 보드 상태와 맞지 않는 오류가 나타났다. 보드 상태를 별도로 추적하는 도구를 허용하면 이런 유형의 오류를 없앨 수 있다.

도구는 언어 모델이 포지션에 대한 판단을 도구에 맡기지 않고, 보드 상태를 확인하며 탐색 방법을 정하도록 설계했다. 각 도구는 사람이 체스판을 따라가며 이해할 수 있는 단순하고 원자적인 작업을 수행한다.

언어 모델은 도구를 호출할 때마다 호출 이유도 함께 제시해야 한다. 이렇게 하면 추론 과정이 이유 없이 도구 호출만 나열하는 형태로 흐르는 것을 막을 수 있다.