대규모 언어 모델의 도메인 특화 환각 탐지

이 연구의 가장 중요한 결론은 환각 탐지의 성능이 탐지기 구조보다 적용 도메인에 더 크게 좌우될 가능성이 높다는 점입니다. 일반 도메인에서 F1 0.915와 AUROC 0.977을 기록한 결과는 인상적이지만, SciFact로 옮겼을 때 F1이 0.52로 떨어졌다는 사실이 실제 배포 환경의 난점을 더 잘 보여줍니다. 멋진 평균 점수보다 이 격차가 훨씬 중요한 메시지라고 봅니다.

제안한 조합 자체는 설득력이 있습니다. DeBERTa-v3 분류기에 MC 드롭아웃 불확실성과 온도 스케일링 보정을 더했고, HaluEval에서 QA F1 0.97, 요약 F1 0.96을 얻었으며 MC 드롭아웃 추론 뒤 정확도가 93.2%로 향상됐습니다. 특히 문맥을 제거했을 때 요약 F1이 24% 하락했다는 결과는 탐지기가 단순한 문체나 특정 단어를 외우기보다 문맥과 주장 사이의 관계를 어느 정도 활용한다는 근거가 됩니다. 학습 데이터 25%로 전체 성능의 77%를 확보했다는 점도 비용을 낮출 가능성을 보여줍니다.

다만 이 수치만으로 사실성 판정기라고 부르기에는 아직 조심해야 합니다. HaluEval의 라벨 품질과 데이터 구성, 환각과 정상 응답의 비율, 문장 길이와 생성 모델별 분포가 실서비스와 얼마나 가까운지는 제시된 요약만으로 알기 어렵습니다. 대화 F1이 0.82로 QA와 요약보다 낮다는 점은 상호작용이 길어지고 맥락이 누적될수록 탐지가 약해질 수 있음을 시사합니다. AUROC가 높더라도 실제 운영에서 어떤 임계값을 택하느냐에 따라 오탐과 미탐의 비용은 크게 달라질 수 있습니다.

도메인 특화 미세 조정의 결과는 더욱 현실적입니다. 일반 도메인 학습을 생의학 영역에 그대로 전이했을 때 F1 0.52에 그쳤지만, PubMedBERT를 SciFact에 맞춰 조정하자 F1 0.63, AUROC 0.81을 기록했습니다. 이는 환각이 단순히 문장이 이상한 현상이 아니라, 분야별 용어와 증거의 기준을 어겼는지를 판단하는 문제라는 뜻에 가깝습니다. 의료·법률·금융처럼 오류 비용이 큰 분야에서는 범용 탐지기 하나로 여러 영역을 덮으려는 접근이 오히려 위험할 가능성이 큽니다.

DPO 결과도 흥미롭지만 해석에는 함정이 있습니다. Qwen2.5-0.5B의 탐지기 기준 환각률이 85.5%에서 37.7%로 줄었다는 것은 생성기를 개선할 실용적 경로를 보여줍니다. 그러나 같은 탐지기가 선호 최적화의 보상 신호로 사용됐다면, 생성기가 실제 진실성을 높였다기보다 탐지기의 판단 기준에 맞는 답변을 학습했을 가능성도 배제하기 어렵습니다. 이른바 탐지기와 생성기의 공진화가 일어나면 표면상 환각률은 낮아져도 독립적인 사실 검증에서는 효과가 약할 수 있습니다.

따라서 이 연구는 완성된 안전장치라기보다 좋은 기본 설계와 중요한 경고를 함께 제시한 연구로 보는 편이 타당합니다. 다음 단계에서는 도메인 밖 데이터, 새로운 생성 모델, 적대적으로 작성된 환각, 전문가 검증 라벨을 포함한 평가가 필요합니다. 또한 탐지 결과를 단일 판정으로 쓰기보다 불확실성 점수와 근거 문장을 함께 제공해 사람의 검토를 배치하는 방식이 현실적입니다. 앞으로의 경쟁은 가장 높은 F1을 얻는 데서 끝나지 않고, 어떤 분야에서 무엇을 근거로 틀렸다고 말할 수 있는가를 입증하는 방향으로 흘러갈 가능성이 큽니다.