LLM이 말하는 자신감 점수는 믿기 어렵다

Amrut Joshi, 2026년 10월 20일

LLM 기반 에이전트는 코드를 작성하고 논문을 요약하며 여행을 계획하고 양식을 채우는 등 여러 작업을 한다. 적어도 그렇게 보일 수는 있다. 확률이나 자신감 점수를 물어도 숫자를 내놓는다. 하지만 그 숫자를 믿을 만한 이유는 없다. LLM이 만든 자신감 점수에 의존할 수 없는 이유를 살펴본다.

자신감의 의미

일기예보 담당자가 “내일 비가 올 확률을 70%로 본다”고 말한다고 하자. 70%는 비가 올 것이라는 예측에 대한 확신의 정도다. 내일 비가 오거나 오지 않겠지만, 오늘의 확신은 현재 알고 있는 정보에 달려 있다.

그 정보에는 기압, 습도, 바람, 레이더에 잡힌 구름처럼 내일에 관한 것과 과거 날씨 기록처럼 이전에 쌓인 것이 포함된다. 정보가 많고 한쪽을 더 강하게 가리킬수록 확신은 100%나 0%에 가까워질 수 있다.

이론적으로 확신을 계산하는 과정은 의견이 아니라 규칙이다. 과거 정보에서 출발해 내일에 관한 정보를 반영한다. 두 예보 담당자가 똑같은 정보를 가지고 규칙을 올바르게 적용한다면 같은 확신에 도달해야 한다. 의견이 다르다면 가진 정보가 다르거나 한쪽이 규칙을 잘못 적용한 것이다.

2주 뒤 날씨를 예측할 때는 아직 그날에 관한 정보가 없다. 이 시기에 비가 오는 날이 약 30%라면 가장 적절한 예측은 비가 올 확률 30%다. 날짜가 가까워져 정보가 더해지면 확신은 100% 쪽이나 0% 쪽으로 움직일 수 있다.

자신감 점수의 정확도 측정

하루의 결과만으로는 70% 예측이 맞았는지 판단할 수 없다. 비가 오거나 오지 않는 두 결과뿐이므로 여러 날의 예측을 살펴야 한다.

예보 담당자가 비가 올 확률을 70%라고 한 날을 모두 모았을 때 실제로 약 70%의 날에 비가 왔다면, 70%라는 예측은 정확하다. 비가 온 날이 40%뿐이면 과신한 것이고 90%라면 확신을 충분히 크게 잡지 못한 것이다. 이를 각 확신 수준에 적용할 수 있다.

표처럼 각 수준의 실제 비율이 예측과 비슷하면 점수가 보정(calibrated)된 것이다. 이는 예보 담당자가 규칙을 얼마나 잘 따르는지도 보여준다.

하지만 보정만으로는 충분하지 않다. 내일 날씨를 살피지 않고 계절의 통상적인 비율인 30%만 계속 말해도, 1년 동안 그 예측이 나온 날의 약 30%에 비가 오므로 점수는 보정될 수 있다. 그러나 이 예보 담당자의 확신은 내일에 관한 정보를 전혀 반영하지 않는다. 표의 예보 담당자는 대부분의 예측을 10%나 90%에 가깝게 제시하면서도 보정 상태를 유지하므로 더 낫다.

정확도를 알아보려면 모든 예측과 실제 결과를 기록해야 한다. 기록이 없으면 점수가 정확했는지 확인할 방법이 없다. 따라서 믿을 수 있는 점수에는 두 가지가 필요하다.

• 예측의 근거가 된 정보가 얼마나 되는지 반영해야 한다.
• 같은 종류의 질문에서 실제 결과와 대조해 점검해야 한다.

LLM은 어떻게 자신감 점수를 내놓나

LLM은 앞서 나온 토큰을 바탕으로 다음 토큰을 하나씩 생성한다. 이를 자기회귀(autoregressive) 방식이라고 한다. “얼마나 확신하나?”라고 물었을 때 답변에 나오는 “0.85”는 모델 내부의 계기를 읽은 값이 아니다. 다른 문장과 마찬가지로 토큰을 이어 써서 만든다. 대화의 다음 문장으로 그럴듯할 뿐, 어떤 것을 측정한 값은 아니다.

앞서 살펴본 기준으로 보면 그 숫자는 두 조건을 모두 충족하지 못한다. 점수는 증거를 요약한 것이 아니라 텍스트의 연속이므로 모델이 가진 정보의 양을 반영하지 않는다. 또한 보정된 적도 없다. 사전 학습에서 모델은 결과와 대조해 점수를 받지만, 그 결과는 다음에 나올 텍스트다. 따라서 모델은 “다음에 어떤 텍스트가 나올까?”라는 질문에 어느 정도 보정될 수는 있어도, 자신이 적은 확신 점수가 실제 정답률과 일치하는지는 평가받지 않는다. 모델은 텍스트에서 자신감 점수가 어떻게 보이는지는 배웠지만, 점수와 정확도를 일치시키는 법은 배우지 않았다.

이 문제는 직접 확인할 수 있는 몇 가지 결과로 이어진다.

• 같은 질문을 다시 하면 숫자가 달라질 수 있다. 한 번은 0.85, 다음에는 0.7이라고 할 수 있다. 정보가 바뀌지 않았으므로 규칙을 적용했다면 확신도 달라지지 않아야 한다.
• 질문의 표현을 바꾸면 점수도 달라질 수 있다. “확실한가?”라고 물으면 문제 자체는 달라지지 않았는데도 점수가 움직이는 경우가 많다. 표현이 달라진 것은 새로운 정보가 아니다.
• 점수 앞에 나온 문장이 숫자에 영향을 줄 수 있다. 모델이 “이 답은 분명히 맞다”고 썼다면 높은 점수가 뒤따르는 것이 자연스럽다. 점수는 증거가 아니라 앞선 단어의 흐름을 따른다.

모델은 늘 숫자를 내놓고, 그 숫자는 정밀해 보인다. 하지만 이전 글의 논문 요약과 마찬가지로, 틀린 숫자도 맞는 숫자와 똑같이 보인다. 여러 점수를 정답과 대조해 평가해야 신뢰성을 알 수 있다. LLM에 자신감 점수를 묻는 사람 대부분은 그렇게 하지 않는다.

LLM 없이 자신감 측정하기

LLM에 확신을 묻는 대신, 예보 담당자처럼 정보를 점수로 바꾸는 규칙을 만들고 실제 결과와 계속 대조할 수 있다. LLM은 답변 작성 같은 작업을 계속 맡을 수 있지만, 자신감 점수는 LLM이 아니라 규칙에서 얻는다.

예를 들어 고객 지원 에이전트가 도움말 센터를 검색해 답변을 작성하고, 확신이 낮은 답변은 발송 전에 담당자가 검토한다고 하자. 이때는 답변마다 자신감 점수를 부여할 수 있다.

• 관찰할 정보를 정한다. LLM에 얼마나 확신하는지 묻지 않고 답변마다 확인할 수 있는 항목을 나열한다. 검색으로 관련 문서를 찾았는지, 몇 개를 찾았는지, 에이전트가 전에 답한 적 있는 유형의 질문인지, 같은 질문에 두 번 답하게 했을 때 답변이 일치하는지 등을 본다. 이는 예보에서 기압·습도·바람에 해당하는 정보다.
• 과거 기록에서 출발한다. 다른 데이터가 없다면 2주 뒤 날씨 예측처럼 통상적인 정답률을 초기 점수로 쓴다. 과거 답변 200건을 사람이 검토해 150건이 정확했다면 새 답변은 처음에 모두 75%에서 출발한다.
• 모든 답변과 결과를 기록한다. 첫 단계의 정보, 규칙이 부여한 점수, 답변이 정확했는지를 저장한다. 검토자가 승인했거나 고객이 다시 질문하지 않았다면 정확한 답변으로 볼 수 있다. 앞에서 말한 기록이 바로 이것이다.
• 기록을 바탕으로 규칙을 갱신한다. 과거 답변을 정보별로 묶고 각 집단의 정답률을 확인한다. 관련 문서가 있고 두 답변이 일치한 사례가 95% 정확했다면, 다음에 같은 조건을 가진 답변에는 95%를 부여한다. 관련 문서가 없는 답변은 정확도가 40%뿐이었다면 점수도 40%로 설정한다. 처음에는 집단이 작아 규칙이 거칠지만 데이터가 쌓이면 더 많은 정보를 활용할 수 있다.
• 계속 점검한다. 매주 정도 예보 담당자 사례와 같은 표를 만들어 각 점수 수준에서 실제로 얼마나 정확했는지 확인한다. 90% 점수를 받은 답변이 실제로는 70%만 정확했다면 규칙이 과신하는 것이며, 새 기록을 바탕으로 고칠 수 있다.

이런 규칙은 LLM이 내놓는 숫자에는 없는 특성을 갖는다. 같은 정보에는 늘 같은 점수를 주고, 점수는 질문 표현이 아니라 정보에 따라 달라진다. 자체 기록을 바탕으로 만들기 때문에 해당 유형의 질문에 맞춰 보정할 수도 있다. 답변을 쓸 때마다 기록이 더해져 개선될 수 있다.

다만 규칙의 품질은 기록에 달려 있다. 답변이 정확했는지 아무도 확인하지 않는다면 배울 자료가 없고, 결국 누구도 측정하지 않은 숫자만 남는다.