일곱 문제 영역 가운데 네 곳에서 적어도 하나의 의사결정 모델이 휴리스틱 기준선을 앞섰다. 평가 대상 모델은 일곱 영역 모두에서 무작위 선택보다 나은 점수를 냈다.

BeelineBench는 의사결정 모델이 다음 행동을 고르는 과정에서 얼마나 앞을 내다보는지 측정하려는 벤치마크다. 모델 평가나 계획 능력 비교에 관심 있는 사람은 문제 영역과 측정 방식을 살펴볼 수 있다.

BeelineBench는 무엇을 재나?

BeelineBench는 블록 세계 같은 문제 영역과 가능한 행동 목록을 모델에 제시하고, 문제를 풀 다음 행동을 선택하게 한다. 해답에 도달하거나 평가 횟수 제한에 걸릴 때까지 이를 반복한다. 최단 경로를 찾는 데 필요하지 않은 노드를 적게 탐색할수록 계획 능력이 높은 것으로 본다.

이를 미로에서 출구까지 가는 길에 빗대면, 돌아간 횟수가 적을수록 점수가 높아지는 방식이다. 구체적으로는 너비 우선 탐색으로 구한 최단 경로의 노드 수를 모델이 해답을 찾으며 탐색한 노드 수와 비교한다.

score = (shortest path + 1) / nodes explored with the model

완벽한 점수는 1이다. 모델이 최소한의 노드만 탐색해 해답에 도달했다는 뜻이다. 비교 기준으로 무작위 선택과 고전적인 휴리스틱을 사용한다.

결과는 어디까지 보여주나?

각 문제 영역에서 100회 시행을 뽑았고, 점수의 95% 신뢰구간은 부트스트랩 방식으로 계산했다. 연구자는 보조 지표와 진단 지표도 산출했다.

일곱 영역 중 네 곳에서 적어도 하나의 의사결정 모델이 휴리스틱 기준선을 넘었다. 모든 평가 모델은 모든 문제에서 무작위 선택보다 나았다. Rush Hour는 모델에 특히 어려웠고, Wikispeedia와 ‘Keys and Doors’는 비교적 잘 다룬 것으로 나타났다. 비용과 효율을 함께 고려한 비교에서는 Mercury Decide와 pplx-decider 1.0이 자주 상위권에 들었다.

결과를 해석할 때 무엇을 유의해야 하나?

BeelineBench는 텍스트로 문제를 어떻게 표현하느냐에 민감하다. 제작자는 각 문제 영역에 자연스럽거나 명확하다고 판단한 표현을 사용했다. 모델별 성능을 높이도록 표현을 따로 조정하면 벤치마크의 타당성이 흔들릴 수 있다고 보고, 합리적인 텍스트 표현을 이해하는 능력도 평가의 일부로 취급했다.

GPT-6 Luna는 일부 문제 영역에서 거부 응답이 많아 점수가 영향을 받았다. 다음 선택이 불명확할 때 답변을 거부하는 듯하다는 관찰도 덧붙였지만, 이는 검증된 결과가 아닌 비공식적인 관찰이다.

또 Jev는 한 번의 결정에서 선택지를 최대 255개까지 받을 수 있다. 모든 모델과 기준선에 공정하게 같은 조건을 적용하기 위해, 선택지 수가 제한을 넘으면 무작위로 일부를 제거했다. 향후 평가에서는 이 처리를 Jev에만 적용해 Jev에 불리한 조건으로 둘 가능성이 있다.

직접 평가하려면 무엇을 확인해야 하나?

BeelineBench는 문제 영역마다 100회 시행을 두며, 선택적으로 마스터 시드(seed)를 지정해 시행을 다시 무작위화할 수 있다. 모델·문제 영역을 추가할 수 있고, 중단 후 재개도 지원하도록 설계됐다. PyPI 패키지와 Docker 컨테이너도 제공된다. 제작자는 앞으로 모델을 추가하고 문제 영역을 다듬을 계획이며, 비용을 이유로 GitHub를 통한 기부를 요청한다.

원문은 모델별 점수와 신뢰구간의 구체적인 수치를 제시하지 않는다. 문제 표현의 민감도와 GPT-6 Luna의 거부율도 정량적으로 검증된 결과는 아니다.