코딩 에이전트로 에이전트를 시뮬레이션하고 개선한다

코딩 에이전트로 다른 에이전트를 개선하는 방법은 시뮬레이션, 실제 사용 기록 분석, 평가 테스트의 세 가지다. Agno의 아슈프리트(Ashpreet)는 이 방법들이 서로 보완하며, 실제 사용 전후에 에이전트의 약점을 찾고 수정 사항을 점검하는 데 쓰일 수 있다고 설명한다.

예시로 든 ‘Daily Brief’는 관련 뉴스를 찾고 출처를 확인해 짧은 뉴스레터를 작성하는 에이전트다. 뉴스가 적은 날에는 브리프를 어떻게 조정할지, 여러 기사가 같은 발표를 다룰 때 중복을 피할지, 전날 뉴스를 다시 싣지 않을지 등을 점검할 수 있다. 에이전트 제작법은 다루지 않으며, Agno의 첫 에이전트 안내서를 참고하라고 안내한다.

시뮬레이션은 에이전트 지침과 도구를 바탕으로 현실적인 요청을 만들고, 실행 결과를 살펴보는 방식이다. 실제 사용자가 생기기 전에도 시작할 수 있다. Agno 에이전트 플랫폼에는 이 과정을 자동화하는 /improve 스킬이 있으며, 코딩 에이전트에 /improve daily-brief라고 요청하면 된다. 사용자 요청은 시뮬레이션하지만 모델 호출, 도구, 저장소는 실제로 사용된다.

실제 세션과 사용 기록은 시뮬레이션만으로 포착하기 어려운 문제를 보여준다. 사용자는 예상하지 못한 요청을 하거나 불완전한 지시를 내릴 수 있고, 앞선 대화를 언급하거나 그럴듯해 보이는 답을 바로잡을 수도 있다. 예컨대 독자가 “지난달 발표인데 왜 오늘 뉴스레터에 실렸나요?”라고 지적하면, 이를 개선 사례로 삼을 수 있다. Agno 플랫폼에서는 /improve daily-brief using production sessions and traces.라고 요청해 해당 에이전트의 실제 세션과 사용 기록을 읽게 할 수 있다. 이후 코딩 에이전트는 개발 환경에서 대표 사례를 이용해 테스트를 실행한다.

문제를 발견하면 재발 여부를 확인할 테스트로 남긴다. ‘좋은 브리프를 작성한다’보다 ‘요청한 기간에 나온 발표만 포함한다’처럼 기대 결과를 분명히 정해야 한다. Agno 플랫폼 템플릿에는 평가 테스트 작성을 돕는 /create-evals 스킬이 있으며, 다음처럼 요청할 수 있다.

/create-evals for daily-brief Check that a quiet day produces a shorter brief, without old stories or invented dates.

세 접근법은 같은 문제에 함께 적용할 수 있다. 오래된 기사가 실렸다는 독자의 지적을 조사하고 수정한 뒤, 해당 사례를 평가 테스트로 저장해 비슷한 상황에서도 수정이 유효한지 확인하는 식이다. 성공과 실패 사례 모두에서 대화, 도구 호출, 결과를 에이전트 버전과 설정 정보에 연결해 보관하면 변경 전후를 비교할 수 있다. 코딩 에이전트는 조사와 테스트 작업을 도울 수 있지만, 무엇을 해야 하는지 명확히 정하고 근거를 검토해 어떤 변경 사항을 적용할지는 사람이 결정해야 한다.