에이전트 군집의 동작을 분석하기 위해 제작자가 1만 개 에이전트의 기록을 여러 방식으로 살펴보는 프로토타입 뷰어를 만들었다. 이 도구는 에이전트의 설명에만 의존하지 않고 메시지, 파일 작업, 프로세스 등 여러 신호를 모아 실행 중이나 실행 후에 군집의 행동과 실패를 파악하도록 돕는다.
제작자는 수집기, 뷰어, ‘hodhod’ 에이전트로 구성된 프로토타입 도구를 만들었다. 수집기는 모델·도구 호출, 커널이 시작한 모든 프로세스, 파일 읽기·쓰기, 에이전트 간 메시지, 컨테이너 출력을 기록한다. ‘hodhod’는 수집된 데이터를 빠르게 나누고 살펴보는 데 쓰는 결정론적 도구를 제공한다.
뷰어에는 1만 개 에이전트의 진행 상황을 한 행씩 표시하는 개요 화면과, 팀을 바닥면에 배치하고 시간을 위쪽으로 쌓아 올린 3차원 화면이 포함된다. 특정 문제와 관련된 에이전트만 골라 보거나, 시간대별 화면과 개별 에이전트를 눌러 당시 행동과 메시지를 확인할 수 있다. 화면을 확대해 팀과 에이전트에서 메시지나 수정된 파일까지 살펴보는 방식도 제시했다.
그 밖에 에이전트 사이의 메시지를 선으로 표시하는 별자리 뷰, 실패 양상이 다른 행동으로 이어지는 과정을 보여주는 문제 퍼널, 작업량과 감지된 실패 유형을 나타내는 트리맵, 팀별 실행을 섬네일로 모은 연락처 시트, 에이전트의 행동을 점의 색으로 보여주는 날씨 리플레이 등을 프로토타입으로 만들었다. 작은 규모의 실행을 나란히 놓고 비교하는 화면도 있다.
제작자는 에이전트가 자신의 행동을 설명한 내용이 틀릴 수 있고, 군집의 실패가 여러 지점에서 발생할 수 있다고 짚었다. 따라서 시각화와 함께 필요한 데이터를 수집해야 하며, 일반적인 대규모 언어 모델 추적 도구만으로는 군집에서 추적하고 싶은 모든 활동을 기록하기 어렵다고 주장했다. 복잡한 상호작용을 설명하는 화면은 더 다듬어야 한다고도 밝혔다.
제작자는 마크 번스타인(Mark Bernstein)의 Tinderbox에서 영감을 얻었다고 설명했다. 이 도구는 메모의 여러 보기를 전환할 수 있으며, 그는 책을 쓰거나 연구를 구상할 때 이를 유용하게 사용해 왔다고 밝혔다.
에이전트 군집 관측 가능성 연재에는 앞선 글인 기존 에이전트 추적 도구를 군집에 그대로 적용할 때의 문제와 군집 기록기가 수집해야 할 데이터가 포함돼 있다. 이번 글의 원문은 세 편 중 마지막 글이다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요