Polytomic은 MCP 도구의 구조화된 응답과 텍스트 응답이 에이전트에 중복 전달되는지 확인하는 공개 테스트를 만들었다. 시험 결과는 모델뿐 아니라 하네스와 실행 환경에 따라서도 달랐다.
MCP 명세는 구조화된 콘텐츠를 반환하는 도구가 호환성을 위해 같은 내용을 직렬화한 JSON 형태로 텍스트 블록에도 넣도록 권고한다. Polytomic은 이에 따라 기존 텍스트 content와 함께 structuredContent에도 같은 데이터를 담았다. 하지만 하네스가 두 필드를 모두 모델 입력으로 전달하면, 큰 스키마나 쿼리 결과가 에이전트의 컨텍스트에서 중복될 수 있다.
로그에 두 필드가 모두 기록됐다는 사실만으로는 모델이 둘 다 받았다고 단정할 수 없다. 이를 확인하기 위해 Polytomic은 각 필드에 서로 다른 무작위 표식을 넣는 테스트를 만들었다. 텍스트만 반환하는 시험과 구조화된 콘텐츠만 반환하는 시험도 함께 구성한 뒤, 에이전트에게 본 표식을 보고하게 했다.
판정 기준은 구조화된 콘텐츠만 확인하면 통과, 텍스트만 확인하면 경고, 두 필드의 표식을 모두 확인하면 실패였다. 이는 내용을 한 번만 노출하고 구조화된 표현을 우선하되 어느 한 필드만 전달되는 경우도 허용하는 Polytomic의 선호를 반영한다. MCP 표준이 이 선택을 의무화한다고 주장하는 것은 아니다.
2026년 10월 2일 기준 각 하네스·MCP 클라이언트·버전의 최신 승인 결과는 What the Harness?에서 볼 수 있다. 예를 들어 Amp의 클라우드 버전과 CLI는 같은 MCP 클라이언트(amp-thread-actor)와 버전 번호(1)를 표시했지만, 클라우드에서는 두 표식이 모두 확인됐고 CLI에서는 구조화된 표식만 확인됐다.
다른 조합에서도 결과가 달랐다. Claude Desktop은 두 필드가 모두 있어도 텍스트 표식만 보고했고, Claude Code는 구조화된 콘텐츠만 확인했다. ChatGPT Desktop은 구조화된 콘텐츠만 확인한 반면 OpenAI Agents API 경로는 두 표식을 모두 보고했다. Codex 경로와 Grok CLI, Pi는 두 표식을 모두 확인했다. Cursor와 Grokbot은 텍스트만 확인했으며, 구조화된 콘텐츠만 반환한 시험에서는 표식을 찾지 못했다. Grokbot은 MCP 클라이언트를 Cursor로 표시하므로 하네스와 클라이언트를 구분해 기록할 필요도 드러났다.
Polytomic은 결과를 모으기 위해 What The Harness?를 만들었다. 공개 프로브에 연결해 테스트 프롬프트를 실행한 뒤 MCP 연결을 통해 결과를 제출할 수 있으며, 제출 내용은 Polytomic 팀의 검토를 거쳐 공개된다. 이전에 승인된 결과도 계속 확인할 수 있다.
이 접근 방식은 브라우저 호환성 표를 만든 QuirksMode와 피터폴 코흐(Peter-Paul Koch)에게서 영감을 받았다. Polytomic은 같은 프로토콜을 표방하는 구현도 실제 동작은 다를 수 있다며, 에이전트 도구에서도 이런 차이를 비교할 수 있도록 하네스와 실행 환경을 함께 기록해야 한다고 설명했다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요