원문 캡처 · cameronmpalmer.com
원문 캡처 · cameronmpalmer.com

전문가처럼 답하라는 페르소나 프롬프트는 객관식 문제의 정확도를 대체로 높이지 않았고, 일부 모델에서는 토큰 사용량과 응답 시간이 늘었다. 4개 모델에 MMLU-Pro 문제 5,000개를 적용한 실험 결과로, 단일 호출형 질의응답에 한정되며 에이전트 작업이나 코딩에도 같은 결과가 적용되는지는 분명하지 않다.

실험과 결과

실험은 9개 분야에서 무작위로 뽑은 객관식 문제 5,000개를 Claude Haiku 5.5, Deepseek V4 Flash 0423, Ling 3.0 Flash, GLM 5.3 Flash에 제시했다. 각 모델은 중립 프롬프트, 시스템 프롬프트 없음, 짧은 전문가 역할, 여러 분야의 전문가 역할을 담은 표준·긴 프롬프트 등 다섯 조건으로 실행됐다. 모델별 추론 설정은 Claude Haiku 5.5와 Deepseek V4 Flash 0423이 xhigh, Ling 3.0 Flash가 enabled, GLM 5.3 Flash가 high였다. 총 20회 실행 결과를 비교했다.

정확도는 Claude와 GLM에서 페르소나에 따라 거의 달라지지 않았다. Ling은 중립 프롬프트에서 가장 높은 정확도를 보였고 전문가 페르소나를 넣었을 때 낮아졌다. Deepseek은 프롬프트가 없는 조건보다 다른 시스템 프롬프트를 넣은 조건에서 더 나은 성능을 보였다. 실험의 정확도·비용 비교에서 파레토선에 놓인 조건은 Deepseek 중립 프롬프트(0.76달러, 83.7%), GLM 짧은 전문가 프롬프트(1.22달러, 85.1%), Claude 전문가 프롬프트(2.36달러, 88.0%), Claude 프롬프트 없음(2.39달러, 88.4%)이었다.

추론 토큰 변화는 모델마다 달랐다. 아래 수치는 중립 프롬프트 대비 평균 토큰 증가율이며, 95% 신뢰구간도 함께 제시했다.

모델프롬프트 조건평균 토큰 증가율95% 신뢰구간
Claude프롬프트 없음-2%[-7%, +4%]
Claude짧은 전문가+4%[-1%, +9%]
Claude표준 전문가-4%[-9%, +1%]
Claude긴 전문가+8%[+3%, +13%]
Deepseek프롬프트 없음+44%[+40%, +48%]
Deepseek짧은 전문가+5%[+2%, +8%]
Deepseek표준 전문가+4%[+1%, +7%]
Deepseek긴 전문가+9%[+6%, +12%]
Ling프롬프트 없음+12%[+8%, +17%]
Ling짧은 전문가+23%[+18%, +28%]
Ling표준 전문가+36%[+30%, +42%]
Ling긴 전문가+33%[+28%, +39%]
GLM프롬프트 없음-2%[-9%, +7%]
GLM짧은 전문가-5%[-12%, +3%]
GLM표준 전문가+1%[-6%, +9%]
GLM긴 전문가+3%[-5%, +11%]

Claude에서는 긴 전문가 프롬프트만 중립 조건보다 추론 토큰이 통계적으로 유의하게 8% 늘었다. Deepseek은 프롬프트가 없는 조건과 세 전문가 조건 모두에서 토큰 사용량이 유의하게 증가했다. Ling은 네 조건 모두 증가했으며, GLM은 어느 조건에서도 통계적으로 유의한 변화가 없었다.

추론 토큰 사용량은 생성 비용과 응답 속도에 영향을 준다. 실험에서 전문가 조건은 대체로 중립 조건보다 비용이 조금에서 다소 더 들었다. 전문가 프롬프트를 넣었을 때 Ling의 응답 지연은 약 15~25% 늘었고, 나머지 모델도 중립 조건보다 지연이 약간 증가했다.

적용 범위

실험 결과는 전문가 페르소나가 정확도를 높이지 않으면서 모델에 따라 비용과 지연을 늘릴 수 있음을 보여준다. 다만 Deepseek 사례처럼 정확도 측면에서 시스템 프롬프트 자체가 중요할 수 있으므로, 모든 프롬프트를 제거하라는 뜻은 아니다. 실험을 수행한 쪽은 운영 환경에서 전문가 역할 대신 중립적인 프롬프트를 고려하고, 비용이나 속도가 특히 중요한 서비스에서는 기존 소프트웨어에 포함된 전문가형 프롬프트도 살펴볼 수 있다고 제안한다.

이 결과는 단일 호출로 답하는 객관식 문제에 기반한다. 에이전트 작업이나 코딩 작업에도 적용되는지는 확실하지 않다. 실험 코드는 cameronmpalmer/expert-persona-experiment에서 확인할 수 있다.

관련 연구로는 Prompting Science Report 4: Playing Pretend, Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks, When “A Helpful Assistant” Is Not Really Helpful, Expert Personas Improve LLM Alignment but Damage Accuracy, Principled Personas가 있다. 데이터셋은 MMLU-Pro이며, 모델 호출에는 OpenRouter를 사용했다. 관련 문서로는 Anthropic의 Claude 역할 부여 프롬프트 지침, Google Cloud의 시스템 지침 사용법, OpenCode의 시스템 프롬프트 파일이 제시됐다. 페르소나 프롬프트 사례로는 Caveman도 소개됐다.