오픈AI의 추론 연구자 노엄 브라운(Noam Brown)은 모델의 벤치마크 점수만으로 능력을 비교하면 추론에 쓴 토큰·비용·시간 차이를 놓칠 수 있다고 지적한다. 그는 성능을 추론 예산에 따라 측정하고, 안전성 평가와 모델 출시 기준에도 이를 반영해야 한다고 주장한다.

브라운은 GPT-5.5와 GPT-5.4의 사례를 들어, 각 모델이 사용한 추론 예산이 다르면 단일 벤치마크 점수만으로 차이를 파악하기 어렵다고 설명한다. 추론 예산을 맞춰 비교하면 GPT-5.5가 더 강한 성능을 보인다는 것이다. 그는 성능이 추론량 증가에 따라 계속 향상돼 실제 평가에서 정점에 도달하지 않을 수도 있다고 덧붙인다. 카르파티의 실험에서는 수백 차례의 실험 뒤에도 성능이 개선됐고, AI Security Institute의 사이버 평가에서는 Mythos와 GPT-5.5의 성능이 1억 토큰을 사용한 뒤에도 빠르게 올랐다고 소개한다.

브라운은 모델 평가 결과를 토큰 수, 비용 또는 실제 소요 시간에 따른 성능 곡선으로 공개하자고 제안한다. 적어도 단일 점수만 발표할 때도 그 점수를 얻는 데 쓴 추론 예산을 밝혀야 한다고 말한다. 벤치마크도 순위표에 추론 사용량을 기록하거나 토큰·비용·시간 예산을 명시해야 한다고 권고한다.

안전성 평가와 관련해서는 준비성 프레임워크와 책임 있는 확장 정책(Responsible Scaling Policies)이 추론 컴퓨팅을 고려해 안전 기준 초과 여부를 판단해야 한다고 주장한다. 여러 추론 예산에서 능력을 평가하고, 낮은 예산의 결과로 더 높은 예산에서의 능력을 추정할 때는 불확실성도 밝혀야 한다는 제안이다. 다만 장기간 작동하는 에이전트의 위험은 짧은 실험에서의 추정만으로 충분히 평가하기 어려울 수 있다. 예컨대 1년 작동 시점의 정렬 상태를 확실히 평가하려면 실제로 1년간 실행해야 할 가능성이 있으며, 이 경우 평가가 새 모델 개발 주기보다 길어질 수 있다고 브라운은 짚는다.

그는 토큰 수는 토크나이저와 속도, 토큰당 비용이 모델마다 달라 직접 비교하기 어렵고, 비용은 배치 처리와 하드웨어 활용도 같은 구현 조건에 좌우된다고 설명한다. 실제 소요 시간도 best-of-N 같은 다중 에이전트 기법이 지연을 크게 늘리지 않고 추론량을 늘릴 수 있어 완전한 지표는 아니다. 그럼에도 이런 지표에 따른 성능 곡선은 단일 점수보다 많은 정보를 제공한다는 것이 브라운의 주장이다.