에이전트 메모리는 강한 모델에 비용만 더할 수 있다

arXiv의 단기 실증 연구는 강한 모델에서 메모리가 비용을 더할 수 있다고 보고했습니다. 모델이 대화 기록을 직접 검색할 수 있을 때를 시험했습니다. 저는 메모리가 기억을 보태는 기능이라는 통념을 흔드는 대목이 오래 남습니다. 기록을 잘 읽는 모델 앞에서는 메모리가 답보다 비용을 먼저 늘릴 수도 있기 때문입니다.

에이전트 팀을 단일 에이전트와 비교한 실험에서도 비용은 1.8~5.1배로 늘었고, 통계적으로 유의한 점수 향상은 한 설정에서만 나타났습니다. 메모리와 에이전트 팀은 기능을 더하는 만큼 성과가 따라오는지, 같은 작업의 비용과 결과를 함께 따져 보게 합니다.

흥미로운 점은 메모리의 효과가 모델에 따라 달랐다는 사실입니다. Mem0는 GPT-4o-mini에서만 전체 대화 기록을 넣는 방식보다 나았습니다. 메모리 구축 비용만으로도 전체 기록 방식의 실행 비용을 넘었습니다. 반면 Claude Opus 5.5 조건에서는 Pi가 전체 기록 방식 비용의 절반 미만으로 99% 정확도를 기록했습니다.

다만 이 결과는 LoCoMo 대화 한 건, 419개 발화와 152개 질문을 대상으로 조건마다 한 번씩만 실행해 얻었습니다. 99% 점수에는 에이전트만 읽을 수 있었던 사진 설명의 영향이 일부 들어갔습니다. 한 오답은 정답 키 자체가 잘못된 문제였습니다. 사진을 근거로 삼지 않는 88개 질문에서는 Pi와 전체 기록 방식의 답변이 한 문제만 달랐습니다.

사용 중인 도구에서 가능하다면 과거 대화에서 답을 알고 있는 질문을 골라 메모리 방식과 전체 기록 방식에 같은 질문을 해 보십시오. 답의 정확도와 함께 메모리를 만드는 비용, 질문할 때 드는 비용도 합산해 보십시오. 정확도가 비슷한데 총비용이 낮다면 메모리를 붙일 이유가 줄어듭니다.

최근 AI에게 예전 대화 내용을 다시 물었을 때, 기억해 둔 정보와 원래 대화 기록 중 어느 쪽에서 답이 더 정확했습니까?