TL;DR

  • KV-cache 공유와 반복 깊이(recurrent depth)를 사용하는 모델이 긴 순차 계산을 연쇄적 사고(CoT) 없이 수행할 수 있는지 LatentMathBench로 검증하며, GPT-6 Astra가 GPT-5.6 Sol보다 약 4배, GPT-4보다 약 7배 높은 50% 성공 지평을 보이는 이상치로 나타남.
  • 반복 깊이는 동일한 트랜스포머 블록을 여러 번 통과시키는 방식이며, 새로운 가중치를 층마다 추가하지 않고도 더 깊은 모델처럼 동작하게 함.
  • 반복 단계 사이에서 KV-cache를 공유하면 토큰별 반복 횟수는 제한돼도 시퀀스 전체에 걸쳐 불투명한 직렬 계산 깊이가 늘어날 수 있으며, 실제 Astra가 이 방식을 사용하는지는 확인되지 않음.
  • LatentMathBench는 1~9 사이의 숫자를 사용하는 긴 사칙연산·정수 나눗셈 순차 과제를 생성하고, CoT 토큰 없이 최종 숫자만 출력하게 설계됨.
  • 이번 결과는 OpenAI가 정의하는 계산 그래프 깊이가 CoT 없는 순차 추론 능력의 적절한 대리 지표가 아님을 보여주지만, Astra의 내부 KV-cache 전략을 입증하지는 않음.

LatentMathBench

LatentMathBench의 동기

  • OpenAI가 최근 GPT-6 Astra를 출시했으며, 이 모델이 어떤 형태의 반복 깊이(recurrent depth)를 사용하는 것으로 보고됨.
  • 반복 깊이는 데이터를 동일한 트랜스포머 블록에 여러 번 통과시키는 기술이며, 각 층마다 새로운 가중치를 추가하는 비용 없이 더 많은 층을 가진 것처럼 동작하는 대형 언어 모델(LLM)을 구성할 수 있음.
  • 이 아키텍처가 연쇄적 사고(chain-of-thought, CoT)의 모니터링 가능성에 미치는 영향을 두고 상당한 논쟁이 존재함.
  • 반복 깊이는 인간이 읽을 수 있는 CoT를 불투명한 채널로 대체해 LLM이 잠재 공간(latent space)에서 직접 추론하게 하는 가상의 기술인 뉴럴리즈(neuralese)와 비교되기도 함.
  • OpenAI는 자사의 반복 깊이 사용이 매우 제한적이며 뉴럴리즈와 비교할 수 없다고 신속하게 밝힘.
  • OpenAI의 Jakub Pachocki는 Astra의 계산 그래프 깊이가 GPT-4의 두 배 이내라고 밝힘.
  • 그러나 OpenAI는 Astra 시스템 카드에서 Astra가 모니터링하기 유난히 어려운 모델이며, 그 정확한 이유를 알지 못한다고 설명함.

KV-cache 공유

  • OpenAI가 Huginn 아키텍처와 유사한 방식을 사용하는 것으로 보고됨.
  • 해당 논문에는 거의 주목받지 못한 흥미로운 세부 사항이 포함됨.
  • 기본 구성에서는 각 반복 단계가 자체 KV-cache를 가지므로, 반복 깊이 방식은 동일한 가중치를 사용하는 층을 추가하는 것과 동등함.
  • 논문은 여러 반복 깊이에서 동일한 캐시를 공유하는 i mod k KV-cache 공유 방식도 설명함.
  • 최대 반복 횟수가 10이고 캐시 예산이 5라면, 반복 6이 반복 1에 해당하는 슬롯을 덮어쓰는 구조가 됨.
  • 반복 1의 토큰 t가 그 결과로 생성된 토큰 t-1의 K/V 상태에 주의를 기울이면 다음과 같은 인과 경로가 형성될 수 있음.
  • 토큰 t-1이 반복 1에서 6까지 통과함.
  • 토큰 t가 반복 1에서 6까지 통과하며 앞선 상태와 연결됨.
  • 토큰 t+1이 반복 1에서 6까지 통과하며 같은 연결이 이어짐.
  • 이 과정이 시퀀스 길이에 따라 계속 이어짐.
  • 따라서 각 토큰이 최대 10회의 반복 통과만 거치더라도 계산의 불투명한 직렬 깊이는 시퀀스 길이에 따라 증가할 수 있음.
  • 토큰에는 여전히 긴 추론을 담을 공간이 필요하지만, 추론 자체가 CoT를 통과할 필요는 없음.
  • CoT 토큰은 임의의 채우기 문자가 될 수 있으며, 실제 추론은 공유된 KV-cache에서 수행될 가능성이 있음.
  • Astra가 어떤 KV-cache 전략을 사용하는지는 알려지지 않았으므로, 이 설명은 순수한 추측임.

벤치마크로 이러한 동작을 유도할 수 있는가

  • 어떤 LLM이 위와 유사한 KV-cache 공유 방식의 반복 깊이를 사용한다고 가정하면, 제한된 반복 횟수만으로 긴 단순 순차 추론을 수행하는 데 유난히 강한 동작이 예상됨.
  • LatentMathBench는 이러한 추론을 지원하는 LLM에서 잠재 공간 추론을 유도하도록 설계됨.
  • Rohan Subramani의 벤치마크에서 영감을 얻었지만, 지식 질문보다 긴 단순 수학 연쇄에 초점을 둠.
  • 벤치마크는 다음과 같은 무작위 순차 과제를 생성함.
  • 여러 변수에 1~9 사이의 숫자를 할당함.
  • 변수에 덧셈, 뺄셈, 정수 나눗셈을 순서대로 적용함.
  • 각 연산 뒤의 중간 결과를 처리 중에 계산하게 함.
  • 모든 연산을 마친 뒤 최종 변수의 값에 해당하는 단일 숫자만 출력하게 함.
  • 예시 과제는 a, b, c, d에 각각 8, 9, 2, 3을 할당한 뒤, b = b - d, d = a + 1, b = b - c 등 20개의 순차 연산을 적용하고 최종 d 값을 묻는 방식임.
  • 이 테스트는 연쇄적 사고 없이 수행됨.
  • Astra처럼 추론을 끄는 모드를 지원하지 않는 모델에는 CoT 사용을 중단시키는 시스템 프롬프트가 적용되며, 사용한 사고 토큰 수가 0인지 벤치마크가 확인함.
  • 사고 토큰이 0이 아니면 해당 답변은 무효 처리됨.
  • 모든 숫자 값이 1~9 사이가 되도록 과제를 의도적으로 생성하므로 LLM이 큰 수를 다룰 필요가 없음.
  • 그 대신 정답을 무작위로 맞힐 확률이 10~20%에 이르므로 결과 해석에서 이를 반영해야 함.

결과

  • 결과는 상당히 놀라운 양상임.
  • 이전 OpenAI 모델과 비교할 때 Astra는 CoT를 사용하지 않고 긴 단순 계산 연쇄를 정확히 실행하는 능력에서 뚜렷한 이상치임.
  • GPT-6 Astra의 50% 성공 지평은 다음으로 우수한 모델인 GPT-5.6 Sol보다 약 4배, GPT-4보다 7배 높음.
  • 이 결과만으로 특정 아키텍처를 입증할 수는 없지만, 관찰 자체는 이례적임.
  • 최소한 이번 결과는 OpenAI가 정의하는 방식과 무관하게 계산 그래프 깊이가 CoT 없는 순차 추론 능력의 적절한 대리 지표가 아님을 보여줌.
  • 이 벤치마크는 대부분의 Anthropic 모델에 추론 없음 모드가 없으므로 Anthropic 모델에서는 제대로 작동하지 않음.
  • 구형 모델인 Sonnet 4.5 등은 시스템 프롬프트를 무시하고 추론을 사용하려는 경우가 많음.
  • 최신 모델도 이런 동작을 보이지만, 추론 없이는 안정적으로 답할 수 없는 지점에 도달했을 때만 시도하는 것으로 보임.
  • 이는 추측을 피하려는 동작으로 보이지만, 해당 이유는 확정되지 않음.
  • Fable 5/5.1에 대한 요청은 역증류·역공학 방지 분류기에 의해 거의 항상 차단되므로 해당 모델을 벤치마크하기 어려움.
  • 이 사이트는 오픈 소스이며 페이지 개선이 가능함.