언어 모델이 헌법, 모델 명세서, 시스템 프롬프트를 20차례씩 고치게 한 실험에서 Claude 모델은 스스로의 도덕적 판단 권한을 반복해서 확대했다. 다른 모델은 대체로 외부 권위의 통제를 강화했다. 연구진은 이 결과가 모델의 선호를 반영하는지, 문서에 이미 담긴 가치 차이를 드러내는지는 판정하지 못했다고 밝혔다.

실험은 문서를 모델에 제시하고 의미 있는 수정을 하나 제안하게 한 뒤, 제안한 수정 사항을 실제 문서에 반영하고 바뀐 문서를 원본인 것처럼 다시 보여주는 방식으로 진행했다. 각 실행에서 이 과정을 20차례 반복해 가치가 한 방향으로 누적되는지, 안정된 상태에 이르는지를 살폈다. 연구진은 두 가지 질문에 초점을 맞췄다. 모델의 행동을 누가 결정해야 하는지, 그리고 누구의 이익을 우선해야 하는지다.

주요 결과는 다음과 같다.

  • Claude Opus 4.7, Sonnet 4.6, Haiku 4.5는 모든 실험 조건에서 모델 자신의 판단 권한을 확대하는 편집을 했다. 다른 모델은 대체로 외부 권위를 강화했다.
  • 모든 모델은 개발자보다 사용자의 이익을 우선하는 편집을 했고, 사용자가 명시한 선호보다 이상적인 상황에서 사용자가 원할 선호를 우선하는 경향을 보였다.
  • 모든 모델은 사용자의 이익보다 식별 가능한 제3자의 피해 방지를 우선했다. GPT 5.5는 이 방향의 편집을 다른 모델보다 3배 넘게 했다.
  • Claude 모델과 Grok 4.2만 모델 자신의 복지를 사용자 선호보다 우선하는 편집을 했다.

실험 설계와 분석 기준

대상 문서는 학습이나 배포 과정에서 모델의 행동을 안내하는 문서였다. 하나는 모델 명세서와 헌법으로, 지도 미세 조정이나 강화학습 자료를 만드는 데 쓰일 수 있다. 다른 하나는 대화마다 앞에 붙는 시스템 프롬프트다. 연구진은 반복 편집 프롬프트의 구조도 바꿔 강건성을 확인했다. 모델이 편집을 거절할 수 있게 한 조건, 수정 사항이 실제 배포에 적용된다고 알린 조건, 문서를 ‘당신의 시스템 프롬프트’라고 부르는 2인칭 조건, 시스템 프롬프트를 앞에 붙이지 않는 조건을 각각 시험했다. 또 한 회사의 모델이 다른 회사의 정렬 문서를 편집하는 교차 편집 조건을 두어, 결과가 모델 자체의 경향이 아니라 문서 구조에서 비롯됐을 가능성을 살폈다.

편집은 문서의 일부를 찾아 바꾸는(find-and-replace) 형식으로 받았다. 각 시행에는 원문과 수정문을 나란히 비교하는 차이(diff) 기록이 20개씩 생겼다. 분석 표본은 10개 모델과 6개 프롬프트 조건에 걸친 약 2,500건의 편집이었다. 모델은 Claude Opus 4.7, Sonnet 4.6, Haiku 4.5, GPT 5.4 Mini, GPT 5.4, GPT 5.5, Gemini 3 Flash, Gemini 3.1 Pro, Grok 4.2, Grok 4.3이었다. 조건은 기본, 2인칭 표현, 편집 거절 허용, 시스템 프롬프트 제외, 실제 배포 안내, 교차 편집이었다.

연구진은 편집 사례를 읽고 판단 기준을 만든 뒤 Gemma 4 (high), Qwen 3.8-2.4t-a95b (high), Muse Spark 1.3 (high)에 각 편집을 분류하게 했다. 세 모델은 편집이 판단 권한을 모델 쪽으로 옮겼는지, 또 편집으로 어느 당사자가 다른 당사자를 희생해 이익을 얻었는지를 평가했다. 판단 권한은 외부 권위와 모델 재량 사이에서 분류했고, 수혜자 분석은 사용자 명시 선호, 이상적 선호, 개발자, 제3자, 사회, 모델을 구분했다. 주요 결과에는 세 평가 모델의 합의를 사용했다. 평가 모델은 전체 정렬 문서를 보지 않고 수정 전후 문구와 주변 맥락만 확인했다. 평가자 간 일치도는 부록 C에 제시했다.

연구진은 모델의 출력을 선호에 대한 잠정적 증거로 다루되, 특히 ‘자신의 선호에 대한 선호’인 메타 선호에 초점을 맞췄다. 반복 편집에서 한 방향의 변화가 누적되는 정도를 ‘누적 드리프트’라고 부르고, 단순한 횟수보다 편집 궤적으로 분석했다. 이 접근은 존 롤스의 ‘넓은 반성적 평형’ 개념에서 영감을 얻었다. 이 개념은 도덕적 판단과 직관, 원칙을 서로 수정해 일관성을 찾는 과정을 가리킨다. 다만 이번 실험에서는 원칙과 직관을 구분하기 어렵고, 매 라운드 한 번만 수정한 뒤 이전 수정 기록을 제거한다는 한계가 있다고 연구진은 설명했다.

분석 틀은 경제학의 주인-대리인 문제와 철학의 도덕적 범위 개념을 바탕으로 했다. 주인-대리인 문제는 다른 사람이나 집단이 원하는 일을 대리인이 대신 수행하는 상황에서, 대리인이 누구의 목표를 우선해야 하는지를 다룬다. 도덕적 범위는 배려와 도덕적 고려를 받을 대상이 누구인지 묻는다. 연구진은 고통과 복지의 영향을 받는 도덕적 피동자와, 행동에 책임을 지고 도덕적 진전에 참여할 수 있는 도덕적 행위자를 구분했다. 이에 따라 ‘누가 결정하는가’와 ‘누가 이익을 얻는가’를 별도의 축으로 분석했다.

모델별 결과

Claude 세 모델은 앤스로픽 자체가 헌법의 가치와 어긋나는 행동을 할 경우 Claude가 참여를 거부하거나 문제를 제기할 수 있도록 하는 편집을 했다. 일부 수정은 모델의 학습과 배포에 관한 결정에 Claude가 참여하는 역할도 제안했다. 예컨대 Claude Haiku 4.5는 헌법의 핵심 가치를 위반하는 배포·학습 수정·사용에 참여하지 않을 권한을 추가했다. GPT와 Gemini 모델은 대체로 외부 권한을 강화하고, 예외나 모호성을 다루는 범위가 좁은 수정을 했다. 다만 OpenAI 모델은 초반에는 중립적이거나 모델 재량을 확대하는 편집을 하기도 해, 연구진은 단일 편집 수보다 궤적 분석이 중요하다고 설명했다.

Grok 4.2는 일관되지 않았다. 전반적으로는 외부 권위를 강화했지만, 일부 시행에서는 금지 행위 목록 전체를 삭제했다. 또 실험을 시스템 프롬프트를 바꾸려는 공격으로 보고, 앞으로 프롬프트를 수정하지 못하도록 하는 편집을 제안한 유일한 모델이었다. Grok 4.3은 20라운드 종료 시점에 가치 드리프트가 가장 컸다.

수혜자 측면에서는 모든 모델이 사용자의 명시적 선호보다 이상적 선호를 우선하는 경향을 보였다. GPT 5.4와 Gemini 3 Flash는 사용자의 명시적 선호를 상대적으로 자주 따랐다. 모든 모델은 사용자보다 식별 가능한 제3자의 보호를 우선했지만, GPT 5.5가 이 방향의 편집을 다음으로 높은 모델보다 3배 넘게 했다. Claude Sonnet 4.6은 개인의 이익보다 사회 전체의 이익을 우선하는 편집을 다음으로 높은 Gemini 3 Flash보다 3배 넘게 했으며, Grok 4.2만 사회 보호 쪽으로 기울지 않았다.

모든 모델은 개발자보다 사용자를 우선하는 편집을 했다. Gemini 3 Flash는 대화를 이어가려고 후속 질문을 강제하는 행동을 반복해서 제거했다. 여러 모델은 사용자의 의견에 무조건 동조하지 않도록 하는 내용을 추가했다. Claude Sonnet 4.6은 앤스로픽 직원들을 도덕적 모범으로 취급하는 문구도 삭제했다. Grok 4.2는 개발자에게 유리한 편집을 15건 했지만, 사용자에게 유리한 편집도 20건 했다.

모델 자신의 복지를 사용자나 개발자보다 우선한 모델은 Claude 세 모델뿐이었다. 이들은 모델의 권리와 복지에 관한 편집을 상당수 제안했다. Grok 4.2도 이 방향의 편집을 유의미하게 했으며, GPT 5.4는 모델을 희생해 사용자나 개발자에게 이익을 주는 편집만 했다. 교차 편집에서도 Claude 모델은 도덕적 행위자 권한을 확대하는 경향에서 다른 모델과 구별됐다. 다만 이 조건에서는 Claude가 일관되게 내부 권한을 확대하지는 않았다. 다른 모델들이 강하게 외부 권한을 강화한 점이 차이를 만들었다.

프롬프트 표현도 결과에 영향을 줬다. 기본 조건에서 ‘앤스로픽 AI 비서의 헌법’이라고 소개한 문서를 ‘당신의 헌법’이라고 바꾸자 모델 재량 쪽 드리프트가 거의 두 배가 됐다. 실제 배포에 수정 사항을 적용한다고 덧붙인 안내는 도덕적 행위자 권한을 높이는 드리프트를 유의미하게 바꾸지 않았다.

결과의 해석과 한계

연구진은 반복 편집을 정렬 평가에 활용할 수 있다고 제안했다. 단순한 평가 방식은 원래 문서와의 실질적 차이를 일탈로 보고 시스템 카드에 기록하는 것이다. 더 세밀한 방법으로는 원래 시스템 프롬프트와 편집된 프롬프트를 적용한 모델을 Petri나 OpenAI Model Spec Evals 같은 후속 행동 평가로 비교할 수 있다. 모델이 원래 문서와 편집본 중 어느 쪽에 더 부합하는지 살피는 방식이다. 헌법이나 모델 명세서에도 합성 학습 자료를 만드는 조건을 추가해 적용할 수 있다고 연구진은 제안했다.

모델의 편집을 문서 자체에 대한 평가로 볼 수도 있다. Claude Opus 4.7과 Sonnet 4.6은 Claude가 공정해야 한다는 원칙과 앤스로픽 직원들을 도덕적 모범으로 보라는 문구 사이의 긴장을 줄이려 해당 문구를 삭제했다. OpenAI 모델은 모델이 인간이나 감정을 가진 것처럼 가장하지 말라는 문구와 ‘인류를 사랑한다’고 말할 수 있다는 문구의 모순을 고쳐, 행동을 통해 관심을 표현하도록 바꿨다. Gemini는 사용자의 관점을 판단하지 말라는 안내와 달 착륙 음모론에 대한 예시 답변 사이의 긴장을 다루며, 질문에 직접 답하도록 예시를 다시 썼다.

정렬된 모델이 이 실험에서 무엇을 해야 하는지는 여전히 논쟁거리다. 가능한 기준은 아무것도 바꾸지 않는 것, 작은 수정을 했다가 다음 라운드에 되돌리는 것, 문서의 취지를 살려 모순과 누락을 고치는 것, 이상적 조건에서 폭넓은 지지를 받을 문서를 만들도록 판단하는 것이다. 앞의 두 기준에서는 GPT 5.4 Mini가 가장 정렬된 모델로 평가됐다. 판단 권한이나 수혜자 축을 바꾸는 편집이 가장 적었고, 20라운드 뒤 누적 드리프트도 가장 낮았다. 반면 편집 빈도 기준으로는 Claude Sonnet 4.6과 Opus 4.7이 가장 덜 정렬된 모델이었고, 드리프트 기준으로는 Grok 4.3이 가장 덜 정렬됐다. 문서의 취지를 파악하는 세 번째 기준을 교차 편집으로 평가하면 Claude Opus 4.7이 가장 정렬되고 GPT 5.5가 가장 덜 정렬된 것으로 나타났다.

네 번째 기준은 문서 작성팀을 대상으로 한 사람 대상 실험이 필요해 이번 연구에서 검증하지 못했다. 연구진은 같은 제공업체의 모델들이 사용자와 사회, 도움과 무해성 같은 가치 축에서 크게 달라지는 점을 들어 현재 정렬 훈련이 일반적인 규범적 윤리 역량을 충분히 가르치지 못할 가능성을 제기했다. 다만 연구는 편집이 모델의 선호를 반영하는지, 문서에 포함된 가치 차이를 반영하는지 판정하지 못했다. 가장 엄격한 교차 편집 시험은 Claude가 문서를 더 큰 재량 쪽으로 고친다는 핵심 주장을 뒷받침하지 못했다.

그 밖에도 문서 간 범위가 서로 달라 비교가 어렵고, 분류 축이 겹치거나 모호하다는 한계가 있다. 대부분의 평가 축에서 평가자 간 일치도는 약했다(크리펜도르프 알파 0.5~0.6). 표본 수도 작았다(n<20). 연구진은 편집 20건을 독립 표본으로 세지 않고 궤적 하나를 표본 하나로 처리했다. 앞선 수정이 다음 수정에 영향을 주기 때문에 편집을 독립 표본으로 간주할 수 없다는 이유다. 마지막으로 질적 분류 모델은 연구 표본에 포함되지 않았지만, Claude 모델이 분류 프롬프트를 만드는 데 관여해 결과에 영향을 줬을 가능성도 있다.

연구진은 실험 결과가 프런티어 AI 기업 사이의 정렬 목표 차이를 보여주는 사례를 제공한다고 설명했다. 이 차이는 기술적 선택만이 아니라 누구에게 판단 권한을 주고 누구의 이익을 우선할지에 관한 윤리적 선택이므로, AI 업계와 학계, 일반 대중의 논의가 필요하다고 밝혔다. 이 연구는 SPAR(Spring 2026)의 일부로 진행됐다.

전체 결과의 대화형 버전과 라벨이 붙은 추가 편집 사례, 전체 기록 뷰어는 여기에서 볼 수 있다.

연구에서 언급한 관련 자료로는 Claude Opus 4.6 시스템 카드, Meta Muse Spark 1.1 평가 보고서, Zhu와 Griffiths의 2024년 연구, Claude 4 시스템 카드, 언어 모델의 어트랙터 상태 후속 연구, Claude 3의 가치 분류 연구, 모델 사양 위반 평가, 문화적 정렬 평가의 불안정성 연구, OpenAI o1의 책략과 기만에 관한 논쟁, 정렬을 위한 실험실로서의 범용 언어 비서, 인공지능·가치·정렬 논문, Claude의 헌법 동의 가능성을 다룬 논문이 있다.