Spirit Room으로 에이전트가 MCP 도구를 찾고 쓰는지 시험한다

Spirit Room은 에이전트가 MCP 도구를 찾고 쓰는지 시험하는 파일럿을 제공합니다. ‘Agent Readiness Sprint’는 모델과 에이전트 앱에 맞춰 설명·도움말·오류 문구를 고칩니다. 검토된 수정안을 코드와 MCP 정의에 반영합니다. 저는 실패의 원인을 모델 능력에만 돌리지 않고 도구 안내까지 시험한다는 점이 눈에 남습니다. 도구가 있어도 에이전트가 발견하지 못하거나 사용법을 오해하면 연결은 제 역할을 못 합니다.

Problems는 MCP 서버와 CLI에서 에이전트의 호출·오류를 모아 반복 문제를 보여줍니다. Spirit Room은 도구 설명과 오류 문구를 시험하고 고치는 쪽에 가깝습니다. 하나는 사용 중 드러난 실패를 포착하고, 다른 하나는 문구와 정의를 다듬어 실패를 줄이려 합니다.

반가운 점은 감사 결과를 보고서로만 남기지 않는다는 것입니다. 모델 3개와 앱 2개에서 최대 25개 작업을 살피고, 최대 10회 문구를 바꾸고 다시 점수를 매긴 뒤 검토용 변경안까지 만듭니다. 실패한 작업별 여정 보고서와 변경 전후 자료가 있어, 무엇을 고쳤는지 확인할 근거도 남습니다.

시험 범위는 모델 3개, 앱 2개, 작업 최대 25개입니다. 이 결과만으로 다른 모델이나 실제 업무 전체에서도 같은 성능이 나온다고 단정할 수는 없습니다. 또 수정안은 검토용이라 팀이 내용을 확인하고 반영해야 합니다. 자주 하는 작업이 빠져 있으면 보고서가 좋아도 팀의 문제를 고치지 못하고, 수정안을 검토할 담당자가 없으면 개선이 코드에 닿지 않습니다.

MCP 도구를 쓰고 있다면 에이전트에게 가장 자주 맡기는 작업 하나를 골라 도구를 찾고 호출한 뒤 실패에서 복구하는 과정까지 시켜 보십시오. 어디서 멈췄는지, 설명·도움말·오류 문구 중 무엇이 부족했는지 기록하면 수정 지점이 좁혀집니다. 문구를 바꾼 뒤 같은 작업을 다시 시켜 호출 성공과 오류 복구가 달라졌는지 비교하십시오.

MCP 도구를 운영하신다면 설명·도움말과 오류 메시지 가운데 무엇부터 점검하시겠습니까?