파울리 헨리키 리쿨라(Pauli Henrikki Rikula)가 모델의 내부 상태 판독값이 주제나 당장의 질문을 반영하는 데 그치지 않고 전략을 포착하는지 평가하는 재사용 가능한 프로토콜을 제안했다. 114개 항목 평가에서 시험한 판독 방식은 예측상 이점을 보였지만, 질문의 영향을 제거하거나 위치를 바꾸는 통제 조건을 통과하지 못했고 추가 통계 기준도 충족하지 못했다. 따라서 검증된 판독값은 아직 없다.
프로토콜은 모델이 실제로 공개한 응답을 별도 보류 데이터에서 예측하고, 비공개 메모 텍스트를 기준선으로 삼았을 때 이를 넘어서는 성능을 보여야 한다고 요구한다. 또 질문을 제거하거나 옮겼을 때 예측 결과가 무너지는지 확인하고, 네 가지 추가 통계 기준도 충족해야 한다.
114개 항목 평가에서는 두 표현 모두 이미 질문을 반영하고 있었다. 네 가지 추가 기준도 충족되지 않아 프로토타입 평가 은행은 비어 있다. 이 논문은 평가 프로토콜을 제시할 뿐, 제안된 정규화 기법이 기만을 줄인다는 점을 입증하지는 않는다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요