Chessbook-1 개발기에 따르면, 이 체스 봇은 Lichess에서 특정 실력대와 시간 제한에 맞춰 사람처럼 두도록 설계됐다. 개발자는 10개월 동안 모델을 만들었으며, Chessbook의 훈련 대국에 적용했다. 개발자가 공개한 비교 결과에서는 Chessbook-1이 사람의 수를 예측하는 성능에서 Maia-3와 비슷했고, 시간 압박 상황과 실력대별 경기 강도 조절에서는 강점을 보였다.
사람의 수와 경기 강도 예측
개발자는 Lichess의 2026년 9월 대국에서 뽑은 두 묶음의 포지션으로 Chessbook-1, Maia-3, Allie 2.0을 비교했다. 모델 학습 데이터는 평가에 사용한 9월 대국과 겹치지 않는다. 첫 묶음은 모든 시간 제한과 실력대를 포함한 3만 개 포지션이고, 두 번째 묶음은 블리츠 대국에서 뽑은 2만 8,000개 포지션이다. 각 포지션의 합법적인 수는 Stockfish 18로 평가했다.
전체 포지션에서는 모델이 가장 먼저 예측한 수가 사람의 실제 수와 일치하는 비율과, 실제 수에 부여한 확률 모두에서 Allie 2.0이 대체로 앞섰다. 다만 2,400점 초과 구간과 최저 실력대는 예외였다. Chessbook-1과 Maia-3은 1,800점 미만에서 비슷했고, 그 이상에서는 Chessbook-1이 앞섰다. 특히 불릿 대국과 남은 시간이 얼마 없는 상황에서 격차가 커졌다.
Maia-3이 주로 학습한 블리츠 대국으로 비교 범위를 좁히면 세 모델의 차이는 통계적으로 뚜렷하지 않았다. 2만 8,000개 포지션 전체에서 실제 수를 가장 먼저 맞힌 비율은 Allie 2.0 57.5%, Maia-3 57.3%, Chessbook-1 57.3%였다. 실제 수에 부여한 평균 확률은 각각 27.9%, 27.6%, 27.3%였고, 모델 간 차이는 ±0.3%포인트 이내였다. 이 비교는 Maia-3에 맞춰 시간 압박 상황을 제외한 블리츠 포지션에서 이뤄졌다.
개발자가 실력대별로 본 경기 강도 지표에서는 Chessbook-1이 사람의 평균 실수율과 블런더율을 모든 구간에서 가깝게 따라갔다. 반면 Maia-3과 Allie 2.0은 약 2,200점을 넘으면 점점 사람보다 약해지는 경향을 보였고, 2,600점 이상에서는 사람보다 블런더를 거의 두 배 자주 냈다. 개발자는 Chessbook-1이 2,600점 이상을 제외한 모든 구간에서 사람의 실수 빈도와 9% 이내로 맞았다고 밝혔다.
시간 압박과 착수 시간
Chessbook-1은 양쪽 시계와 기본 시간, 추가 시간을 입력으로 사용한다. 움직일 때마다 가능한 수별로 사람이 그 수를 두기까지 걸릴 시간의 분포도 예측한다. 반면 Maia-3에는 시계 입력이 없다. 플레이어의 남은 시간이 20초 미만인 2,600개 포지션에서 Chessbook-1은 사람의 실제 수를 54.8% 맞혔고, Maia-3은 51.9%였다. 실제 수에 부여한 평균 확률은 각각 25.4%, 21.3%였다. Allie 2.0도 시계를 읽으며, 이 상황에서도 Chessbook-1보다 약 2%포인트 높은 예측률을 보였다.
Chessbook-1은 사람이 실제 수에 쓰는 시간 비율을 전체적으로 5.4%로 예측해 사람의 평균과 같았다. 모델이 예상하기 어려운 수일수록 착수 시간이 길어지는 패턴도 반영했다. 남은 시간이 30초 미만일 때 사람과 Chessbook-1은 한 수에 남은 시간의 17%를 썼다고 예측했으며, Allie 2.0의 예측은 14%였다.
모델 구성과 이용 방법
Chessbook-1은 1억 9,900만 개 파라미터로 구성되며, 2025년 8월부터 2026년 7월까지의 Lichess 대국을 학습에 사용했다. 본 학습에는 3억 4,500만 개 포지션이 쓰였고, 이후 3,300만 개 포지션으로 추가 학습했다. 모델은 사람의 수, 경기 결과 확률, 가능한 각 수의 착수 시간 분포를 한 번에 예측한다. 개발자는 모델과 학습·서비스 코드를 Rust와 Burn 프레임워크로 만들었다고 설명했다.
개발자는 Chessbook-1을 600~2,800점 사이에서 원하는 실력대와 시간 제한을 골라 체험할 수 있다고 안내했다. Chessbook-1과 대국하기
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요