LLM의 코드 주석은 사람보다 에이전트를 위한 것이다

LLM이 코드에 남기는 장황한 주석은 사람 독자보다 코딩 에이전트가 맥락과 설계 결정을 공유하는 데 쓰일 수 있다는 견해가 나왔다. 이 관점에 따르면 벤치마크 성적이 오를수록 주석이 더 간결해지기보다 에이전트 작업에 유용한 형태로 늘어날 수 있다.

LLM의 주석은 주변 맥락과 상관없이 장황하고, 최종 설계보다 그 설계에 이르는 과정의 결정을 담으며, 기존에 없던 용어를 만들어내기도 한다. 이런 현상을 줄이려고 프롬프트를 다듬거나 별도의 ‘정리’ 에이전트를 돌리는 엔지니어도 있지만, 글쓴이는 이런 방법의 효과가 크지 않다고 말한다.

글쓴이는 그 이유로 강화학습(RL) 기반의 에이전트 훈련을 든다. 모델은 에이전트 환경에서 파일을 수정하고 작업을 수행해 결과를 내며, 성공에 기여한 행동은 보상받아 더 자주 나타난다는 설명이다. 벤치마크가 어려워지고 모델이 맡는 개발 작업 범위가 넓어지면, 대화 맥락만으로 설계 결정을 유지하기 어려워질 수 있다. 세션을 압축하는 과정에서 결정이나 이유가 사라져 모델이 이를 다시 찾아내거나 방향을 바꾸는 일도 생길 수 있다고 글쓴이는 추정한다.

주석은 파일을 다시 읽는 모델이 맥락을 불러오는 지속적인 저장소가 될 수 있다. 한 에이전트가 ‘연결 리스트가 아니라 배열’이라는 설계 이유를 주석에 남기면, 다른 에이전트가 이를 되돌리려 할 때 주석을 보고 신중하게 접근할 수 있다는 것이다. 글쓴이는 에이전트가 기존 주석을 따르는 경향도 있을 수 있다고 덧붙이지만, 이 대목에는 확신이 덜하다고 밝혔다.

이 때문에 설계 결정까지 포함한 장황한 주석을 쓰는 에이전트가 작업에 성공하고 평가에서 보상받을 수 있다. 주석이 코드베이스를 간결하게 설명하는지와 무관하게, 에이전트는 그 내용을 빠르게 읽고 활용할 수 있다. 글쓴이는 따라서 이런 주석을 없애려는 시도가 모델의 평가 성과를 뒷받침하는 행동을 약화할 수도 있다고 본다.

그렇다고 장황한 주석이 장기적으로 바람직하다는 뜻은 아니다. 글쓴이는 모델이 강화학습으로 익힌 행동이 그것이 생겨난 환경 밖에서도 유익하리라는 보장은 없다고 주장한다. 에이전트의 지속 상태를 활용해 조직 구조 같은 행동이 나타난 사례도 있지만, 그것이 바람직한 결과인지는 별개의 문제라는 설명이다.

현실의 개발 환경에서는 작업의 일시적 성격과 사람의 검토·편집이 주석의 축적을 억제할 가능성이 있다. 다만 강화학습 기반 에이전트의 행동만으로 수년간 유지되는 코드베이스가 어떤 모습을 보일지, 어떤 한계가 나타날지는 아직 알 수 없다고 글쓴이는 말한다.

관련 자료: 모델이 좋아질수록 도구 호출은 나빠졌다, Mario Zechner의 pi 발표, 강화학습, OpenAI의 Navier-Stokes 특이점 관련 글, 사람과 다른 모델의 자기 대화 방식에 관한 게시물, 초가공 식품, 지속 상태를 활용한 모델 자기 조절 사례.