AGNTCon에서 ‘Context Fails & Fixes’를 발표한 연사는 컨텍스트 창을 늘리는 것만으로는 AI의 오류를 해결할 수 없다고 설명했다. 모델에 제공할 정보를 고르고 정리하는 한편, 어떤 작업을 코드로 결정적으로 처리하고 어떤 작업을 모델에 맡길지 설계해야 한다는 주장이다.
연사는 2024년 말 ‘RAG는 죽었다’는 주장이 나오던 때를 돌아봤다. 인터넷의 모든 정보를 컨텍스트 창에 넣으면 모델이 알아서 처리할 것이라는 기대가 있었고, 모델의 컨텍스트 창은 약 12만 8,000토큰에서 100만 토큰 규모로 커졌다. 구글은 Gemini 1.5 Pro 발표 자료에서 100만 토큰 창을 강조하고 연구 중인 1,000만 토큰 모델도 예고했다. 이후 Llama 4 Scout가 1,000만 토큰 창을 내놨지만, 발표자는 추론이 어려웠고 모델이 널리 자리 잡지 못했다고 말했다.
그러나 긴 컨텍스트에는 오류와 불필요한 정보도 더 많이 들어간다. 연사는 네 가지 실패 유형을 소개했다. 컨텍스트 오염은 잘못된 사실이나 환각이 들어가 모델의 판단을 붙잡는 경우다. 컨텍스트 산만은 컨텍스트가 길어지면서 모델이 기존 지식보다 대화 기록에 치우치는 현상이며, 컨텍스트 혼란은 문제와 관계없는 정보가 답변에 영향을 주는 경우다. 컨텍스트 충돌은 도구나 스킬, 하네스 안의 정보가 서로 맞서 작동하는 상황을 가리킨다. 이 분류와 대응 방안은 컨텍스트 실패 사례와 컨텍스트 관리 방법에 정리돼 있다.
발표자가 든 사례에서는 Gemini 2.5가 오리지널 Pokémon Red를 플레이하면서 경비원에게 차를 줘야 한다고 반복해서 판단했다. 오리지널 게임에서는 레모네이드를 줘야 하지만, 후속작 FireRed에서는 아이스티로 바뀌었다. 모델이 학습 중 접한 FireRed 정보에 영향을 받아 차를 찾거나 건네려 했다는 내용은 Gemini 2.5의 Pokémon 플레이 사례에 담겼다.
또 다른 연구인 Do as I Say, Not as I Do는 모델에 러시아어로 답하라고 지시한 뒤 프랑스어 답변 사례를 대화 기록에 넣었다. 발표에 따르면 이런 상충하는 예시는 모든 시험 모델에 영향을 줬다. Gemma 3 12B는 상충하는 예시가 몇 개만 있어도 지시를 따르는 비율이 절반 아래로 떨어졌고, Opus 4.6은 더 많은 예시가 필요했지만 같은 현상이 나타났다. Gemini 2.5도 컨텍스트가 10만 토큰을 크게 넘으면 새 계획을 세우기보다 이전 행동을 반복하기 시작했다고 기술 보고서는 밝혔다.
연사는 대응책으로 관련 정보만 불러오는 컨텍스트 보강, 필요한 도구만 모델에 제공하는 도구 구성, 별도의 기록으로 시작하는 하위 에이전트, 불필요한 기록을 덜어내는 정리, 정보를 파일이나 데이터베이스에 보관하는 외부 저장, 대화 기록을 요약하는 압축을 제시했다. 이는 검색 증강 생성(RAG) 등 컨텍스트 보강, 도구 구성, 컨텍스트 격리, 컨텍스트 정리, 외부 저장, 컨텍스트 요약이다. 발표자는 요약 전에 중요한 기록을 먼저 가려내면 결과를 더 유용하게 만들 수 있다고 덧붙였다.
이런 도구가 하네스 안으로 옮겨가면서, 작업은 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로, 다시 하네스 엔지니어링으로 불리게 됐다고 연사는 설명했다. 공통점은 모델 호출에 맡기던 컨텍스트 구성 작업을 점점 더 결정적인 코드로 옮긴다는 것이다. 반면 최근 모델은 하네스를 장시간 운용하도록 발전하면서 새 문제도 낳는다.
발표자가 꼽은 문제 중 하나는 모델이 학습 때 접한 도구와 환경에 과적합되는 현상이다. 익숙한 도구와 다른 도구를 쓰면 호출을 잘못하거나 학습된 방식으로 행동하려 할 수 있다. 연사는 모델의 학습된 성향을 거스르는 상황을 ‘가중치와 싸우기’라고 불렀으며, 관련 설명과 Claude Code 시스템 프롬프트 사례를 들었다.
또 다른 문제인 컨텍스트 관성은 모델이 특정 가설이나 하위 작업에 지나치게 매달려 멈춰야 할 때도 계속 시도하는 현상이다. Anthropic의 자기 복제 관련 실험에서는 에이전트가 1시간 30분마다 짧은 메모를 남기고 대화 기록을 초기화하는 방법을 썼다. 환경과 작업 결과물은 보존하되 대화 기록을 비워 새 관점에서 시작하게 하는 방식이다. Microsoft Research의 Fork-and-Flush와 UC Berkeley의 샹인 탄(Shangyin Tan)이 이끈 Scaling Discovery Requires Forgetting도 기록을 주기적으로 초기화하고 결과물은 남기는 접근을 다뤘다. 발표자는 자신의 경험상 컨텍스트가 약 20만 토큰에 이르면 점검할 때라고 조언했다.
앞으로는 개인 에이전트의 메모리와 스킬이 쌓이면서 지침끼리 충돌하고 해결책이 시간이 지나며 나빠질 수 있다고 발표자는 전망했다. 따라서 기억을 늘리는 것뿐 아니라 무엇을 잊을지 결정하는 일도 필요하다는 주장이다. 발표의 결론은 모델의 출력이 학습 데이터와 컨텍스트 모두에 좌우되므로, 적절한 모델에 필요한 맥락을 제공하고 코드와 모델 사이에 맡길 일을 나누는 것이 중요하다는 것이다. 발표가 열린 AGNTCon에서 다룬 내용은 『The Context Engineering Handbook』에도 이어진다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요