재사용 가능한 스킬을 필요할 때 불러오는 LLM 에이전트는 관련 없는 스킬이 많아지면 필요한 스킬을 찾지 못할 수 있다는 연구 결과가 나왔다. 연구진은 스킬을 선택해 미리 제공하는 방식이 이 문제를 줄일 수 있지만, 스킬 설명이 있는 상태에서 에이전트에 직접 선택을 맡기면 성능이 다시 낮아졌다고 보고했다.
진린 류(Jinlin Liu), 웨이 첸(Wei Chen), 샤오진 장(Xiaojin Zhang)은 SkillsBench 과제와 정답 스킬을 고정하고 관련 없는 스킬을 추가해 평가했다. 관련 없는 스킬이 1,000개일 때 에이전트가 필요한 스킬을 불러오는 비율은 73.6%에서 27.4%로 떨어졌고, 스킬을 하나도 불러오지 않는 비율은 9.3%에서 51.6%로 올랐다. 같은 스킬 목록에서 연구진이 스킬을 명시적으로 골라 제공한 경우에는 필요한 스킬을 불러오는 비율이 73.9%였다.
연구진은 정답 스킬과 비슷한 대안을 잘못 고르는 현상이 감소의 주된 원인은 아니라고 분석했다. 관련 없는 스킬의 설명만 가리면 스킬을 불러오는 비율이 크게 회복됐다. 다만 설명을 그대로 둔 채 에이전트에 스킬 사용 계획을 세우게 해도, 미리 스킬을 골라 제공하는 방식보다 필요한 스킬을 불러오는 비율은 낮았다.
논문은 스킬 설명이 선택 과정에 주는 간섭과, 스킬 선택이 과제 수행과 경쟁하면서 생기는 지시 간섭을 가능한 원인으로 제시한다. 스킬을 미리 선택하는 방법도 완화책으로 평가했으며, 적용 범위와 지연 시간 사이의 절충을 함께 다뤘다. 이 결과는 스킬 라이브러리가 커지는 에이전트의 스킬 구성과 평가에 참고할 수 있지만, 제공된 초록에는 해당 절충의 구체적인 수치가 나오지 않는다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요