체스 부정행위 탐지기 v3가 그랜드마스터 오탐을 줄였다

Chess Cheat Detector가 새 모델을 공개했다. 실제 그랜드마스터 대국에서 정상 플레이어를 ‘상승’ 또는 ‘높음’으로 잘못 분류하는 비율은 약 60명 중 1명으로, v2의 4명 중 1명에서 낮아졌다.

*부정행위자와 정상 플레이어를 한 명씩 무작위로 뽑았을 때 부정행위자의 점수가 더 높게 나오는 비율이다(ROC AUC).

점수 70% 이상은 ‘상승’ 또는 ‘높음’으로 표시된다. 정상 그랜드마스터는 실제 대국에 참여한 2,982명이며 모두 레이팅이 2500 이상이다. 나머지 항목은 그랜드마스터 대국처럼 시작하는 게임을 포함한 시뮬레이션 게임에서 나온 결과다.

여기서 v2의 수치는 v2 소개 글에 실린 것보다 낮다. 이전 글은 레이팅이 있는 게임만 평가했지만, 이번에는 사이트에서 접하는 상황에 더 가까운 레이팅 미표시 게임 약 4분의 1과 더 어려운 그랜드마스터 스타일 게임도 포함했다.

v2는 시뮬레이션 플레이어를 바탕으로 학습했으며, 가장 강한 시뮬레이션 플레이어도 리치스(Lichess) 기준 약 2600 수준이었다. 실제 그랜드마스터보다 낮은 수준이다. 따라서 v2는 실제 그랜드마스터만큼 정확하게 두는 정상 플레이어를 접하지 못했고, 학습 데이터에서 그렇게 잘 두는 플레이어는 부정행위자뿐이었다.

v3는 게임 데이터를 각각 약 7,000개씩 추가로 학습했다. 첫 번째는 PGN Mentor에서 수집한 FIDE 레이팅 2500 이상 선수들의 실제 그랜드마스터 대국으로, 참가자는 모두 정상 플레이어로 간주했다. 두 번째는 실제 그랜드마스터 대국의 첫 15~30수를 따라간 뒤 시뮬레이션 플레이어가 이어서 두는 게임이다. 이 데이터에는 부정행위 게임도 포함되며, 제작진은 이를 통해 강한 오프닝을 둔 부정행위자가 그랜드마스터로 오인되는 일을 막으려 했다.

v3는 더 신중하게 점수를 매긴다. 플레이어 순위를 가리는 능력은 v2보다 약간 나아졌지만, 전반적으로 점수는 낮아졌다. 70% 이상을 기록하는 부정행위자가 줄었고, 그 감소 폭은 그랜드마스터 수준으로 부정행위를 한 경우에 가장 컸다. 제작진은 실제 그랜드마스터의 수가 부정행위자보다 훨씬 많고 정상 플레이어를 잘못 의심하면 피해가 크다는 점을 고려해 이런 절충을 택했다고 밝혔다. 학습에서 실제 그랜드마스터 대국은 나머지 데이터의 4분의 1 비중으로 반영했다. 비중을 같게 하면 오탐은 더 줄었지만, 그랜드마스터 수준의 부정행위자를 대부분 놓쳤다고 설명했다.

평가에는 몇 가지 한계가 있다. 학습과 테스트에 같은 그랜드마스터가 서로 다른 대국으로 포함돼, 한 번도 보지 못한 강한 플레이어를 평가할 때 v3의 성능은 조금 낮아질 수 있다. 그랜드마스터 수준의 부정행위자는 실제 사례가 없어 시뮬레이션으로만 평가했다. 또한 점수는 확률일 뿐 결론이 아니며, 정상 플레이어도 이례적으로 뛰어난 대국을 할 수 있다.

의심스러운 대국이 있다면 게임을 붙여 넣어 v3의 분석을 확인할 수 있다.