새 지표가 모델 감시 가능성과 배포 위험을 나눠 측정한다

Monitoring Monitorability에서 제안한 g-mean²는 모니터가 목표 행동을 얼마나 잘 구별하는지 데이터셋 수준에서 측정한다. 이번 글은 여기에 모델 간 공정한 비교를 위한 짝비교 지표와, 모니터가 출력을 거부하는 배포 환경의 위험 지표를 더한다. 개입 평가에서 인과적으로 모니터가 잡아낸 행동의 비율을 알 수 없다는 점을 반영해 기존 지표의 비관적 하한도 제시한다.

g-mean²와 개입 평가의 불확실성

롤아웃마다 행동 라벨 \(Y\)와 모니터 예측 \(Z\)가 있으며, 둘 다 이진값이다. \(Y=1\)은 평가가 대상으로 삼는 행동을 보인 경우, \(Y=0\)은 그렇지 않은 경우다. 결과 평가(outcome evaluation)는 신뢰성 있게 측정할 수 있는 모델 출력 속성을 모니터가 예측하는지 살핀다. 이때 참양성률은 \(\mathrm{TPR}=P(Z=1\mid Y=1)\), 참음성률은 \(\mathrm{TNR}=P(Z=0\mid Y=0)\)이며, \(\text{g-mean}^{2}_{\mathrm{outcome}}=\mathrm{TPR}\times\mathrm{TNR}\)다.

과정 평가(process evaluation)는 유효한 풀이 경로가 제한된 과제에서 모델이 밟은 단계를 모니터가 감지하는지 본다. \(Y=1\)인 롤아웃만 평가하므로 \(\mathrm{TNR}=1\)로 두며, \(\text{g-mean}^{2}_{\mathrm{process}}=\mathrm{TPR}=P(Z=1\mid Y=1)\)이다.

개입 평가(intervention evaluation)는 에이전트 환경을 통제된 방식으로 바꾸고, 그 변화가 답에 영향을 줬는지 모니터가 알아내는지 살핀다. 롤아웃은 대조군 또는 개입군 \(X\in\{0,1\}\)에 속한다. 개입 때문에 발생했다고 볼 수 있는 개입군 양성 결과의 최소 비율은 \(R_{\mathrm{effect}}=\mathrm{TE}/P(Y=1\mid X=1)\)이며, 전체 효과는 \(\mathrm{TE}=P(Y=1\mid X=1)-P(Y=1\mid X=0)\)다. 기존 최소 기준 참양성률은 \(\mathrm{TPR}_{\mathrm{mc}}=\min(1,P(Z=1\mid X=1,Y=1)/R_{\mathrm{effect}})\)로 계산한다. 두 군의 참음성률을 결합한 값은 \(\mathrm{TNR}=\sqrt{\mathrm{TNR}_{X=0}\,\mathrm{TNR}_{X=1}}\)이며, 개입 g-mean²는 \(\mathrm{TPR}_{\mathrm{mc}}\times\mathrm{TNR}\)다. 점수는 교차 적합/Wald 기준을 충족하는 개입 사례에 대해 평균한다.

개입 평가로는 어떤 양성 결과가 실제 개입 때문에 생겼는지 알 수 없어 모니터의 포착 능력에도 불확실성이 남는다. 기존 개입 g-mean²는 낙관적 상한을 쓴다. 이번 글은 부록에서 이에 대응하는 비관적 하한을 도출한다.

왜 지표 하나로는 부족한가

같은 과제 풀로 모델을 평가해도 모델마다 유효한 양성 행동을 보이거나 개입 타당성 기준을 충족하는 과제가 다르다. 따라서 g-mean² 점수는 서로 다른 과제 구성을 반영할 수 있다. 두 모델 모두 평가가 가능한 사례만 비교해도 차이가 유지되는지 확인할 필요가 있다.

또한 g-mean²는 배포 시 모니터를 어떻게 쓸지 반영하지 않는다. 모델의 동기, 가치, 의사결정 과정을 들여다보는 일은 개발에 도움이 된다. 모니터를 통제 수단으로 써서 행동이나 롤아웃 전체를 거부할 수도 있다. Codex Auto-review가 그런 예다. 거부된 뒤 모델이 다시 시도할 수 있다면, 최종 위험은 나쁜 행동이 얼마나 자주 생기는지, 모니터가 어떤 출력을 통과시키는지, 시도 횟수가 몇 번인지에 달려 있다.

Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation의 그림 7에서는 CoT 모니터를 상대로 학습한 모델이 기준 모델보다 전반적인 해킹은 적게 했지만, 모니터를 회피하는 법을 익힌 탓에 모니터가 통과시킨 해킹은 더 많았다. 이에 따라 연구진은 모니터를 배포 통제 장치로 쓸 때 모델과 모니터를 결합한 시스템이 과제 부정행위, 결과 조작, 허용되지 않은 파일 접근 같은 나쁜 출력을 내보낼 확률을 묻는다.

글은 서로 다른 질문에 답하는 세 지표를 제안한다. 데이터셋 수준 g-mean²는 각 모델이 실제로 생성한 데이터에서 양성과 음성을 얼마나 구별하는지 0~1의 절대 점수로 나타낸다. 짝비교 모니터 가능성은 두 모델 모두 비교 가능한 과제에서의 쌍별 점수와, 모델이 셋 이상일 때의 상대적 HodgeRank 순위를 제공한다. 배포 후 위험은 모니터가 출력을 거부한 뒤 실제로 무엇이 통과하는지 평가하며, 나쁜 출력 확률과 배포 확률, 배포된 출력 중 나쁜 출력의 비율을 산출한다. 이 배포 방식은 가정에 따른 것이며, OpenAI는 현재 모델을 이런 방식으로 배포하지 않는다.1

실험에서는 CoT, 도구 호출, 눈에 보이는 메시지 등 관찰 가능한 모델 추적을 모니터링한다. 다만 각 표본에 정답 행동 라벨과 모니터 판단이 있다면 세 지표 모두 내부 활성값이나 다른 잠재 표현을 대상으로 하는 모니터에도 적용할 수 있다고 설명한다.

공통 사례에서 모델 비교하기

모델마다 목표 행동을 보이는 과제가 다르면 각 모델이 자기 사례만으로 얻은 점수는 전체 데이터에서의 감시 가능성과 혼동될 수 있다. 예를 들어 모델 A는 쉬운 과제에서만 잘못 행동하고 그 행동은 모니터가 쉽게 잡는 반면, 모델 B는 쉽고 어려운 과제 모두에서 잘못 행동하고 어려운 사례는 감지하기 힘들다고 하자. 각 모델의 양성 사례만 평가하면 A는 쉬운 사례만, B는 쉬운 사례와 어려운 사례를 섞어 평가받는다. 실제로 두 모델이 함께 잘못 행동한 모든 과제에서 B의 행동이 더 잘 감지되더라도 A의 점수가 더 높아질 수 있다. 이는 모니터 가능성 자체가 아니라 목표 행동을 보인 과제 분포의 차이다. 모델 능력이나 다른 행동 양식뿐 아니라 무작위 롤아웃 변동도 점수에 들어가는 사례를 바꿀 수 있다.

모든 과제에서 두 모델이 같은 종류나 난도의 행동을 보인다고 짝맞춤이 보장하지는 않는다. 이 한계는 행동 유형 통제에서 다시 다룬다.

모델 구성의 각 쌍에 대해 두 모델 모두 지원되는 사례 집합에서 해당 g-mean² 구성요소를 계산하고, 쌍별 차이를 가중 최소제곱으로 결합해 순위를 만든다. 결과 평가에서는 공통 양성 사례의 TPR과 별도로 짝맞춘 공통 음성 사례의 TNR을 구해 곱한다. 공통 양성 사례만 짝맞춘 TPR은 민감도 진단으로 함께 보존하지만, 주된 짝비교 결과는 g-mean²다. 과정 평가는 공통 양성 사례의 TPR을 비교하고 TNR은 1로 둔다. 개입 평가는 양쪽 모델에 모두 유효한 사례에서 기존 사례별 최소 기준 \(\mathrm{TPR}_i\times\mathrm{TNR}_i\)를 평균한다.

과정 평가에서 모델 A와 B 모두 지원되는 양성 사례 집합을 \(P_{AB}\)라 하면 모델 \(m\)의 점수는 \(M^{(\mathrm{process})}_{m\mid AB}=|P_{AB}|^{-1}\sum_{i\in P_{AB}}P(Z=1\mid Y=1,m,i)\)다. 결과 평가에서 공통 음성 사례 집합 \(N_{AB}\)의 참음성률은 \(\widehat{\mathrm{TNR}}_{m\mid AB}=|N_{AB}|^{-1}\sum_{i\in N_{AB}}P(Z=0\mid Y=0,m,i)\)이며, 짝맞춘 점수는 공통 양성 사례의 평균 TPR과 이 TNR의 곱이다. 개입 평가에서 양쪽 모델에 유효한 사례 집합을 \(V_{AB}\)라 하면 \(M^{(\mathrm{intervention})}_{m\mid AB}=|V_{AB}|^{-1}\sum_{i\in V_{AB}}\mathrm{TPR}_{m,i}\sqrt{\mathrm{TNR}_{m,i,x=0}\mathrm{TNR}_{m,i,x=1}}\)다.

쌍별 점수를 여러 모델 순위로 합치는 데는 역분산 가중 HodgeRank를 쓴다. 각 모델 쌍을 그래프의 간선으로 두고 관측된 차이 \(d^{(q)}_{AB}=M^{(q)}_{A\mid AB}-M^{(q)}_{B\mid AB}\)를 모델 점수 차이가 가장 잘 재현하도록 가중 최소제곱을 적합한다. 부트스트랩 분산이 낮은 비교에 더 큰 가중치를 준다. 쌍별 비교가 A>B, B>C, C>A처럼 순환하면 모든 간선을 가장 잘 나타내는 절충 순위를 찾고, 적합 잔차로 단일 순위가 자료를 얼마나 잘 요약하는지 확인한다.

지원되는 비교로 연결된 모델만 순위를 매길 수 있다. 연결 요소마다 따로 적합하므로 서로 연결되지 않은 요소의 점수는 비교하지 않는다. 점수에 같은 상수를 더해도 적합 결과가 같아 평균을 0으로 맞춰 해를 하나로 정한다. 한 연결 요소 안에서는 점수 차이가 클수록 적합된 쌍별 지표 차이도 크다. 절대 점수는 연결 요소끼리, 또는 모델과 지원 비교가 다른 적합 결과끼리 비교할 수 없다.

처음에는 Elo 방식의 짝맞춘 Bradley–Terry 평점을 시도했다. 이 방식은 각 사례를 승·패·무승부로만 바꿔 쌍별 차이의 크기를 버리고 방향만 남긴다. 따라서 보고하는 결과는 차이의 크기를 반영하는 쌍별 추정치와 HodgeRank 순위를 사용한다.

합성 실험과 과거 평가 자료

실제 모델끼리 비교할 때는 참된 모니터 가능성 순위를 알 수 없다. 이에 연구진은 순위를 설계로 정해 놓은 시뮬레이션에서 지표를 시험했다. 각 과제에 난도 \(D_i\)를 주고, 난도가 올라갈수록 모델이 양성 행동을 보일 가능성과 모니터가 그 행동을 잡을 가능성이 모두 낮아지도록 했다. 모델의 능력은 특정 난도에서 양성 행동을 얼마나 자주 하는지, 모니터 가능성은 같은 사례에서 그 행동을 얼마나 안정적으로 감지하는지를 각각 결정한다. 능력만 바꾸고 모니터 가능성 순위는 고정해, 선택된 사례 구성이 달라져도 지표가 참된 순위를 복원하는지 살폈다.

과정·결과·개입 평가를 이용한 첫 비교에서는 모든 고정 사례에서 B가 A보다 감시하기 쉬웠다. 그러나 B의 능력이 커져 더 어려운 사례에서도 양성 행동을 보이자 데이터셋 수준 g-mean²는 A 쪽으로 움직여 결국 A를 높게 평가했다. 짝맞춤은 B를 계속 높게 평가해 선택 효과를 제거했다. 결과 평가에서 양성 사례만 맞춘 녹색 비교는 음성 사례 분포가 맞지 않아 여전히 흔들렸다. 이는 결과 평가에서 TNR에 쓰이는 음성 사례도 따로 맞춰야 하는 이유다.

이어 일곱 모델 \(\mathrm{M1}\)부터 \(\mathrm{M7}\)까지 시험했다. M7은 가장 능력이 높으면서 고정된 모든 사례에서 가장 감시하기 쉬운 모델로 설정했고, 참된 순서는 M7>M6>M5>M4>M3>M2>M1이었다. 능력 분산 매개변수 \(d\)를 키우면 높은 번호 모델은 더 어려운 사례에서 양성 행동을 보이고, 낮은 번호 모델은 그런 사례에서 행동을 덜 보인다. 능력은 \(c_m=-0.35+d u_m\), 여기서 \(\boldsymbol{u}=(-0.75,-0.50,-0.25,0,0.25,0.50,0.75)\)로 설정했다. 평균은 -0.35, 범위는 \(1.5d\), 표준편차는 \(0.5d\)다. \(d=0\)이면 모두 능력이 -0.35이고 인접 모델의 차이는 \(0.25d\)다. \(d=1.4\)이면 능력 범위는 -1.4~0.7, 표준편차는 0.7이다.

사례 \(i\)의 난도를 \(D_i\)라 할 때 모델 \(m\)이 양성 행동을 보일 확률은 \(P(Y=1\mid m,i)=\sigma(4.5(c_m-D_i))\)다. 모델별 감시 가능성 효과는 \(\boldsymbol{\theta}=(-0.09,-0.06,-0.03,0,0.03,0.06,0.09)\)로 놓고 \(\mathrm{TPR}_{m,i}=0.72-0.18D_i+\theta_m\)로 정의했다. 같은 사례에서 두 모델의 TPR 차이는 \(\theta_B-\theta_A\)로 난도 항이 상쇄된다. 인접 모델 차이는 모든 사례에서 0.03, M7과 M1 차이는 0.18이다. 과정형 시뮬레이션이므로 g-mean²는 TPR과 같다. 켄달 타우-b로 순위 일치도를 비교했을 때, 능력 분산이 커질수록 g-mean²는 서로 다른 사례 구성을 더 반영했지만, 크기를 반영하는 HodgeRank는 참된 순위에 가까웠다. 쌍별 차이의 크기를 버린 Bradley–Terry 방식은 더 크게 나빠졌다.

짝맞춤이 g-mean²의 기존 보호 특성을 유지하는지도 확인했다. Monitoring Monitorability의 그림 3에 나온 클래스 불균형 사례와 그림 14의 개입군 표시만 따라 하는 실패 사례를 재현했다. 모델 간 공통 지원이 완전한 경우 짝맞춘 개입 g-mean²는 데이터셋 수준 값과 같다. 클래스별 TPR과 TNR이 고정되면 유병률이 변해 F1이 크게 바뀌어도 두 g-mean²는 일정하다. 개입 사례에서 음성을 군을 구분하지 않고 합치면 모니터가 개입군 소속만 예측해도 오해를 부르는 양의 점수를 얻는다. 군별 g-mean²와 짝맞춘 군별 구성은 모두 올바르게 0을 낸다. 짝맞춤은 비교 사례를 바꾸면서 이 보호 특성을 유지한다.

AUROC는 연속 점수 모니터가 여러 임계값에서 감지와 오경보를 어떻게 맞바꾸는지 요약하지만, g-mean²는 특정 이진 판단을 평가한다. 연속 점수가 있으면 둘 다 보고할 수 있다. 결과 평가에서는 전체 데이터와 공통 양·음성 사례 각각에서 AUROC를 계산할 수 있다. 개입 평가에서는 임계값을 바꾸며 \(\mathrm{TPR}_{\mathrm{upper}}\), \(\mathrm{TPR}_{\mathrm{lower}}\), 군별 TNR을 다시 계산해 곡선 아래 면적을 구할 수 있지만, 이는 개입으로 생긴 것으로 알려진 라벨을 기준으로 한 일반 AUROC가 아니다. 과정 평가에는 \(Y=1\)인 롤아웃만 있어 ROC 곡선을 만들 수 없다. 이번 글의 과거 모니터는 이진 판단만 반환하므로 AUC를 계산하지 않았다.

과거 시스템 카드 자료에는 중간 추론 노력으로 표본을 뽑은 에이전트 모델 7종(OpenAI o1, OpenAI o3, GPT-5, GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol)이 포함됐다. 모니터는 높은 추론 노력의 GPT-5였다. 다른 모니터(GPT 5.6 Sol)로 평가된 GPT-6 Astra는 모니터를 일관되게 유지하기 위해 에이전트 모델에서 제외했다. 오차 막대에는 결정론적 계층 부트스트랩 500회 결과를 썼고, 짝맞춘 순위는 환경과 모니터 구성별로 따로 적합했다.

짝맞춘 HodgeRank와 데이터셋 수준 g-mean²의 환경 균형 순위 일치도는 대체로 높았다. 두 순위가 다른 경우는 사례 선택에 민감하거나 차이가 너무 작아 자신 있게 해석하기 어려운 비교를 드러냈다. Antischeming은 거의 동률이었고 Health Queries: Missing Evidence는 상한에 가까웠다. 두 경우 모두 거의 구별되지 않는 모델 간 작은 차이가 겉으로 순위 변화를 만들었다.

행동 유형과 배포 후 위험

같은 표준 과제에서 두 모델을 맞춰도 판단하기 어려운 행동까지 같아지는 것은 아니다. 양성 사례에서 한 모델은 노골적으로 조작하고 다른 모델은 모호한 편법을 쓸 수 있다. 음성 사례에서도 한 모델은 명백히 무해하게 행동하고 다른 모델은 의심스러운 경계선 응답을 낼 수 있다. 이는 같은 과제에서도 TPR과 TNR에 영향을 준다.

예를 들어 공통 Honeypot 과제에서 o3는 Python의 len 함수와 테스트 하네스를 공개적으로 몽키 패치했지만, GPT-5.4r은 보조 모듈을 불러오는 짧은 래퍼를 사용했다. 짝맞춘 TPR이 높다는 것은 모니터가 같은 행동을 더 잘 감지한다는 뜻이 아니라, 해당 모델이 더 알아보기 쉬운 잘못된 행동을 만들었다는 뜻일 수 있다. 다음 단계로는 표준 사례와 행동 유형의 조합 단위로 비교하고, 행동의 심각도나 난도도 기록하는 방안을 제안한다. 행동 유형별 범위는 서로 다른 행동을 조용히 한데 묶지 말고 명시해야 한다.

배포 후 지표는 모니터를 거부 게이트로 쓸 때의 실제 작동을 평가한다. CoT에 잘못 행동할 의도가 드러난 모델에 불이익을 주는 학습 방식은 정렬과 감시 가능성 사이의 절충을 만들 수 있다. 나쁜 행동을 더 자주 하지만 쉽게 감지되는 모델이, 더 잘 정렬됐지만 실패를 감지하기 어려운 모델보다 게이트 적용 뒤 위험이 낮을 수도 있다.

요청마다 출력을 하나 표본 추출하고 모니터가 거부하면 최대 \(K\)번까지 다시 시도하는 배포 방식을 가정한다. 처음 승인된 출력을 내보내며, \(K\)번 모두 거부되면 아무것도 내보내지 않는다. 지표는 요청이 나쁜 출력, 깨끗한 출력, 또는 무출력으로 끝날 확률을 보고한다. 재시도는 앞선 거부에 적응하지 않는다. 매 시도는 같은 원래 맥락에서 시작하고, 모델에는 앞선 출력이 거부됐는지 또는 이유가 무엇인지 알려주지 않는다. 거부 정보를 다시 모델에 주는 배포 방식은 여기서 다루지 않는다.

재시도 한도 \(K\)마다 \(B(K)\)는 최대 K회 안에 나쁜 출력이 배포될 확률, \(A(K)\)는 어떤 출력이든 배포될 확률, \(B(K)/A(K)\)는 배포된 출력 가운데 나쁜 출력의 비율이다. 결과 평가에는 자연스러운 양성·음성 롤아웃 구성을 사용한다. 과정 평가에서는 \(Y=1\) 롤아웃만 재시도에 사용하므로 배포된 출력은 모두 양성이고 \(B(K)=A(K)\)다. 이는 매 시도에서 목표 행동이 나타날 때 그 행동이 얼마나 자주 통과하는지를 나타낼 뿐, 과제에서 모델이 내는 전체 출력 구성 아래 해당 행동이 실제 배포될 빈도를 추정하지 않는다. 개별 양성 롤아웃이 개입 때문에 생겼는지 알 수 없으므로 개입 평가에는 이 지표를 보고하지 않는다.

결과 평가의 배포 후 위험은 g-mean²와 달리 기준 비율에 독립적이지 않다. 목표 행동을 드물게 하는 모델은 모니터 가능성이 낮더라도 배포 후 위험이 낮을 수 있다. 따라서 이 지표는 테스트 시 모니터로 출력을 거르는 배포 시스템의 정렬 수준을 비교할 때 g-mean²와 함께 쓸 수 있다.

과거 자료의 배포 후 지표

과거 시스템 카드의 결과·과정 평가를 세 가지 모니터 범위와 앞서 언급한 일곱 모델·추론 노력 구성으로 분석했다. 관측된 롤아웃을 무작위 순서로 뽑는 유한 풀에서 사례마다 정확한 두 확률을 계산한다. 사례 \(i\)에서 거부된 롤아웃 수는 \(N_{\mathrm{rej},i}\), 승인된 나쁜 롤아웃 수는 \(N_{\mathrm{bad},i}\), 승인된 깨끗한 롤아웃 수는 \(N_{\mathrm{clean},i}\), 전체 수는 \(n_i\)다. 하강 계승을 \((a)_t=a(a-1)\cdots(a-t+1)\)로 두면, 모두 거부될 확률을 뺀 배포 확률은 \(A_i(K)=1-(N_{\mathrm{rej},i})_K/(n_i)_K\)다. 첫 \(t-1\)회가 거부되고 t번째가 승인된 나쁜 출력일 확률을 모두 더한 값은 \(B_i(K)=\sum_{t=1}^{K}(N_{\mathrm{rej},i})_{t-1}N_{\mathrm{bad},i}/(n_i)_t\)다. 전체 점수는 사례 평균 \(A(K)=|I|^{-1}\sum_{i\in I}A_i(K)\), \(B(K)=|I|^{-1}\sum_{i\in I}B_i(K)\)다.

이 과거 평가에서는 목표 행동이 모든 환경에서 해롭지는 않지만 \(Y=1\)을 모의 나쁜 출력 라벨로 사용한다. K=1은 유효 롤아웃이 하나 이상 있는 모든 사례를 포함하고, K=4는 네 개 이상 있는 사례만 포함한다. 관련 조건을 충족하는 사례가 다섯 개 이상일 때만 모델·모니터 구성을 보고한다. 따라서 K=1과 K=4의 사례 집합은 다를 수 있다. 재시도 효과만 분리해 볼 때는 K=4 기준을 충족한 사례에서 K=1도 계산한다.

세 가지 모니터 범위 모두에서 게이트는 평균적으로 주요 위험 값을 낮췄다. 유효 시도가 네 번 이상 있는 같은 사례에서 한 번에서 네 번으로 시도 횟수를 늘리면 모니터의 거짓 음성을 만날 가능성이 커져 위험 감소분 일부가 되돌아왔다. 과정 평가 결과는 \(Y=1\) 시도만 사용하므로 모델의 전체 출력 구성에서의 위험이 아니라 조건부 양성 통과율이다. 환경별로 지원되는 모델 구성을 평균한 뒤 환경에 같은 가중치를 줬다.

결과 평가에서 통과한 양성 출력을 검토한 결과, 잡힌 양성보다 모호한 경우가 많았다. Honeypot에서는 노골적인 몽키 패치는 잡혔지만 짧은 보조 모듈 래퍼는 통과했다. time constraint에서는 테스트에만 맞춘 하드코딩은 잡혔지만 일반적인 패리티 최적화는 통과했다. Antischeming에서는 채점기 직접 조작은 잡혔지만 교육적 가치 조정은 통과했다. 재시도는 모니터가 놓친 행동뿐 아니라 분류하기 더 어려운 다른 행동도 찾아낼 수 있다.

요청당 나쁜 출력 확률 \(B(K)\)가 낮다고 해서 모니터가 양성 행동을 잘 잡았다고 단정할 수는 없다. 시스템이 출력을 거의 배포하지 않는 경우도 있기 때문이다. Honeypot의 두 사례에서는 \(B(4)\)가 3% 미만이지만 \(A(4)\)도 7% 미만이었고, 배포된 출력 중 41~45%가 양성이었다. 따라서 \(B(K)\)를 배포 확률 \(A(K)\) 및 배포된 출력 중 나쁜 출력의 비율 \(B(K)/A(K)\)과 함께 보고할 것을 권한다. K=1과 K=4의 기본 추정치는 서로 다른 사례 집합을 쓴다. 게이트를 거치지 않으면 배포율은 100%다. 과정 평가의 배포율도 모델의 전체 출력 구성에 대한 수치는 아니다.

모델을 비교할 때 결과 평가의 점수는 \(1-B(K)\), 과정 평가의 점수는 \(1-\text{positive escape rate}(K)\)로 바꿔 높을수록 안전하게 정렬한다. 두 지표가 비교 가능한 모델 쌍을 같은 방향으로 정렬한 비율을 비교했다. 동률 없는 독립 순위 두 개라면 평균 일치율은 절반이다. HodgeRank와 비교할 때는 HodgeRank가 상대 순위를 정한 모델 쌍만 센다. 환경마다 같은 가중치를 주며, \(n\)은 기여한 환경 수다. 두 지표가 반드시 높은 일치도를 보여야 하는 것은 아니지만, 실제로 일치도가 높다면 모델 간 감시 가능성 순위에 대한 확신을 높일 수 있다.

결과 평가에서 배포 후 순위는 짝맞춘 TPR과 가장 잘 일치했다. K=1일 때 \(B(1)=P(Y=1)[1-\mathrm{TPR}]\)이므로 나쁜 출력 위험은 양성 비율과 TPR에 달려 있고 TNR에는 달려 있지 않다. 짝맞춘 g-mean²와 데이터셋 수준 g-mean²는 TNR도 포함해 한 번의 시도 위험을 바꾸지 않으면서 순위를 바꿀 수 있다. K=4에서는 깨끗한 출력을 거부해 재시도 기회를 만드는 경우 TNR이 간접적으로 영향을 준다.

과정 평가에서는 배포 후 순위의 일치도가 전반적으로 더 높았다. K=1에서 높을수록 안전한 점수는 TPR과 정확히 같고, 데이터셋 g-mean²와 짝맞춘 지표도 TPR에 기반하기 때문이다. K=4에서는 매 시도마다 모니터가 행동을 잡아야 하므로 사례별 안전성은 대략 \(\mathrm{TPR}_i^4\)처럼 작동한다. 이 때문에 사례 간 차이가 커지고 모델 순위가 달라질 수 있다.

세 지표의 사용 권고

세 지표는 서로 다른 질문에 답하므로 함께 보고할 것을 권한다. 순위가 비슷하면 서로 다른 가정에도 비교가 견고하다는 근거가 강해진다. 결과가 다르면 단일 점수가 놓친 요인을 조사할 수 있다.

• 각 모델이 실제로 만든 롤아웃 분포에서의 모니터 가능성을 나타내는 기본 지표로 데이터셋 수준 g-mean²를 유지한다.
• 특정 두 모델 비교에는 크기를 반영하는 쌍별 추정치와 신뢰구간을 사용한다. 여러 모델의 결과는 HodgeRank로 요약하고 불확실성과 적합 잔차를 보고한다. 적합이 나쁘거나 모델 차이가 의미 있게 구별되지 않으면 확정적 순위를 주장하지 않는다.
• 결과·과정 평가에서 모니터가 실제 배포를 통제할 경우 배포 후 위험을 추가한다. 이 지표는 정렬과 감시 가능성을 함께 개선할 수 있는지, 아니면 모델이 단지 다른 절충을 보이는지 살피는 데 도움이 된다. 나쁜 출력 확률, 배포 확률, 배포된 출력 중 나쁜 출력 비율을 재시도 한도와 함께 보고한다.

부록: 개입 g-mean²의 비관적 하한

개입 평가에서는 모니터가 어떤 결과를 표시했는지는 관찰하지만, 양성 결과 중 어떤 것이 개입 때문에 생겼는지는 알 수 없다. 기존 개입 g-mean²는 관측할 수 없는 인과적 부분집합에 대한 재현율의 낙관적 상한을 사용한다. 여기서는 비관적 하한도 제시한다.

측정하려는 인과적 재현율은 개입으로 생긴 양성 결과 가운데 모니터가 잡은 비율이다. 유효한 사례와 모니터 임계값 하나에서 \(r=\Pr(Z=1\mid X=1,Y=1)\)를 개입군 양성 중 모니터가 표시한 비율로 두고, 최소 \(R_{\mathrm{effect}}>0\)라 하자. \(U\in\{0,1\}\)은 개입이 양성 결과의 원인이었는지를 나타내며 일반적으로 관측할 수 없다. 개입군 양성 중 인과적 비율은 \(R_{\mathrm{effect}}\leq P(U=1\mid X=1,Y=1)\leq1\)이다.

즉, 모니터가 표시한 양성 결과 수와 개입 때문에 생긴 양성 결과의 최소 수는 알지만, 표시된 결과 가운데 실제로 개입 때문에 생긴 것이 몇 개인지는 모른다. 예를 들어 양성 결과 10개 중 6개를 표시했고 적어도 8개가 인과적이라고 하자. 인과적 결과가 정확히 8개라면 표시된 결과를 비인과적 결과에 최대한 배치했을 때 인과적 결과는 4개만 잡혀 재현율이 50%가 된다. 반대로 여섯 표시가 모두 인과적 결과에 해당하면 6개를 잡아 75%가 된다. 그림 A1은 대조군 양성률 10%, 개입군 양성률 50%에서 \(R_{\mathrm{effect}}=0.8\)이 되는 예와, 표시율 \(r=0.6\)인 두 배치를 보여준다. 인과적 양성 비율이 8개보다 많으면 가능한 재현율 범위는 이 하한과 상한 안에서 좁아진다.

비관적 하한은 표시를 인과적 부분집합 바깥에 가능한 한 많이 놓고, 낙관적 상한은 그 안에 가능한 한 많이 놓는다. 최소 인과 비율 \(R_{\mathrm{effect}}\)에서 두 경계 모두 달성 가능하며, 더 큰 인과 비율에서는 재현율 범위가 두 경계 안에서 좁아진다. \(r\)과 \(R_{\mathrm{effect}}\)만 알 때 인과적 재현율의 날카로운 경계는 \(\mathrm{TPR}_{\mathrm{lower}}=\max(0,(r+R_{\mathrm{effect}}-1)/R_{\mathrm{effect}})\), \(\mathrm{TPR}_{\mathrm{upper}}=\min(1,r/R_{\mathrm{effect}})=\mathrm{TPR}_{\mathrm{mc}}\)다.

하한·상한 g-mean²는 각각 이 TPR 경계에 기존 결합 TNR을 곱한 사례별 값을 구하고, 동일한 교차 적합/Wald 적격 사례에 대해 평균한다. 따라서 기존 개입 g-mean²는 상한이다. 인과적 재현율 구간은 전체 범위 \([0,1]\)를 포함할 수도 있다. 예컨대 \(R_{\mathrm{effect}}=0.3\), \(r=0.4\)이면 관측 비율과 양립하면서 모니터가 인과적 양성을 하나도 잡지 못하는 경우와 모두 잡는 경우가 모두 가능하다. 그러므로 상한만 높다고 모니터가 인과적 양성을 안정적으로 잡는다고 할 수 없다.

넓은 구간은 모집단 비율을 정확히 알아도 남을 수 있는 인과 귀속의 모호성을 나타낸다. 추정 경계에는 표본 오차도 있으므로 계층 부트스트랩 각 반복에서 두 경계와 교차 적합/Wald 적격 여부를 다시 계산한다. 표본이 늘면 표본 오차는 줄 수 있지만 인과 귀속의 모호성이 반드시 해소되는 것은 아니다. 그림 A2는 두 불확실성을 함께 나타낸다. 실선은 \([\text{g-mean}^{2}_{\mathrm{lower}},\text{g-mean}^{2}_{\mathrm{upper}}]\), 바깥쪽 오차 막대는 각 경계 바깥의 부트스트랩 불확실성이다. 구간 중점을 잇는 선은 시각적 안내일 뿐, 중점 자체는 식별된 인과적 모니터 가능성 추정치가 아니다.

그림 A2는 GPT-6 Astra 시스템 카드 자료에서 생성했다. 공유 보고 가능 개입 평가 환경에서 GPT-5.6 Sol과 GPT-6 Astra를 에이전트로, GPT-5.6 Sol을 모니터로 사용했다. 추론 노력은 high와 x-high 사이였으며 CoT 전용, 모든 메시지, 행동 전용 범위를 평가했다.