메모리 구조를 지시받은 AI 에이전트가 더 잘 정리했다

단순 검색으로 정보를 찾는 언어 모델은 거래 내역이나 할 일 목록처럼 구조가 필요한 과제에서 어려움을 겪었습니다. 초기 실험에서 메모리를 어떻게 정리할지 지시받은 에이전트는 과제를 해결했습니다. 하지만 최신 언어 모델도 지시가 없으면 필요한 구조를 알아채지 못하기도 했습니다. 저는 이 차이가 오래 남습니다. 기억을 꺼내는 능력과 기억을 쓸 수 있게 정리하는 능력이 다르다는 점이 보였기 때문입니다.

‘AI 에이전트에 필요한 것은 메모리가 아니라 문서화임’은 검색으로 기억을 꺼내는 방식의 한계와 문서 기반 기억을 다뤘습니다. StructMemEval은 정보를 정해진 구조로 정리하고 활용하는 능력을 따로 시험합니다. 기억을 얼마나 쌓느냐보다 다시 쓸 수 있는 형태로 만드는 일이 중요하다는 점에서 두 논의가 맞닿습니다.

연구진이 제안한 StructMemEval은 사실을 찾아오는지만 묻지 않습니다. 거래 장부나 할 일 목록, 트리처럼 정보를 정해진 구조로 정리하고 활용하는 능력도 시험합니다. 기억 평가가 단순 회상에서 한 걸음 더 나아간 점은 반갑습니다.

다만 초록에는 실험에 사용한 모델과 과제별 수치, 비교 조건, 재현 여부가 없습니다. 그래서 지시의 효과가 어떤 모델과 과제까지 이어지는지 가늠하기 어렵습니다. 특히 지시가 구조를 스스로 고르는 능력을 돕는지, 정답 구조를 사실상 알려 주는지에 따라 결과의 의미가 달라집니다.

메모리 기능을 쓰신다면 할 일 목록이나 거래 기록 하나를 시험 자료로 고르십시오. 같은 자료를 먼저 단순 검색으로 처리한 뒤, 항목과 관계를 정리하라는 지시를 더해 결과를 비교해 보십시오. 지시 뒤에만 누락이나 중복이 줄어든다면, 지금 도구는 기억보다 정리 지시에 기대고 있는 셈입니다.

기억을 맡기는 도구에서 무엇을 어떤 구조로 저장하게 하고, 나중에 무엇부터 확인하십니까?