AX Practitioner Playbook은 AI 코딩 에이전트가 특정 기술을 어떻게 사용하는지 평가하고, 잘못된 결과가 나온 원인을 찾아 이를 근본적으로 바로잡는 방법을 담은 안내서다. 수백 차례의 에이전트 세션에서 얻은 내용을 한데 모았다. AX Practitioner Playbook 다운로드

코딩 에이전트에 자신이 다루는 기술로 무언가를 만들라고 하면 그럴듯하고 컴파일될 수도 있는 코드를 생성한다. 하지만 자세히 보면 잘못된 SDK 버전, 더 이상 권장되지 않는 인증 방식, 제품팀이 추천하지 않을 설정을 사용했을 수 있다. 이 결과는 무작위 실수가 아니다. 에이전트가 학습 데이터에서 얻은 정보에 따라 동작한 것이다.

개발자들은 점점 더 에이전트에 SDK와 버전, 구현 방식을 선택하게 하고 그 결과로 기술을 평가한다. 모델이 더 나아지기를 기다리는 것만으로는 부족하다. 지식 컷오프만으로 모델이 특정 제품에 대해 아는 정도를 판단하기 어렵다. 바꿀 수 있는 것은 에이전트가 참고하는 문서, MCP 도구, 스킬, 플러그인, 지침, CLI, API 같은 정보원이다. 어려운 점은 어떤 변경이 실제로 도움이 되는지 알아내는 일이다.

개별 글에서 하나의 방법론으로

Microsoft DevRel 팀은 2025년 가을부터 실제 개발자가 사용할 법한 프롬프트로 Azure, Cosmos DB, SharePoint Framework(SPFx), Microsoft 365 Copilot 확장에서 에이전트의 성능을 측정했다. 그 과정에서 얻은 내용을 Agent Experience 시리즈로 나눠 공개해 왔다. 각 글이 방법론의 한 부분을 다뤘다면, 이 안내서는 이를 처음부터 끝까지 하나로 묶어 독자가 자신의 기술에 적용할 수 있게 한다.

평가부터 실제 수정까지

안내서는 평가 준비부터 배포할 수정 사항을 만드는 과정까지 다룬다. 결과를 신뢰하려면 의미를 판단하는 기준뿐 아니라 코드가 실제로 실행되는지 확인하는 관문도 필요하다. 안내서는 코드가 컴파일되지 않았는데도 만점을 받거나, 에이전트가 특정 플랫폼을 사용했는지와 무관하게 통과하는 검사가 발생하는 사례를 들며 신뢰할 수 있는 평가 결과의 조건을 설명한다.

평가 기준을 작성하는 일은 분야별 전문성을 측정 가능한 형태로 바꾸는 가장 어려운 단계다. 안내서는 평가자가 일관된 판정을 내릴 수 있는 기준을 작성하고, 신뢰하기 전에 보정하며, 제품 변경에 맞춰 버전을 관리하는 방법을 다룬다. 모델에 평가 기준 작성을 맡기는 것과 같은 함정도 짚는다.

평가 결과는 무엇이 실패했는지 알려주지만, 실행 궤적은 왜 실패했는지 보여준다. 확장이 아예 로드되지 않은 경우, 로드됐지만 호출되지 않은 경우, 호출됐지만 잘못 적용된 경우를 구분하는 방법을 소개한다. 각 상황에는 서로 다른 수정이 필요하다. 여러 기술 평가에서 반복적으로 나타난 아홉 가지 실패 패턴은 우선 살펴볼 부분을 알려준다.

평가가 실제 영향을 내려면 동작의 원인이 된 정보원을 바꿔야 한다. 안내서는 수정안을 배포하기 전에 가설로 검증하는 방법과 근거를 담당 팀에 전달하는 방법을 설명한다. 담당 팀은 소속 팀일 수도, 직접 협업하는 팀일 수도, 기여 중인 오픈소스 프로젝트일 수도 있다.

실제 평가 사례와 활용 대상

안내서의 각 단계는 Cosmos DB, SPFx 등의 기술로 진행한 평가 사례에 기반한다. 이 평가를 통해 문서와 에이전트 확장 기능에 수십 건의 수정이 반영됐으며, 그중에는 Azure Cosmos DB Agent Kit 개선 사항 46건이 포함된다. SPFx 프로젝트 업그레이드 사례는 시나리오 설정부터 실제 반영된 수정까지 전 과정을 보여준다. 자체 평가를 시작하기 전에 확인할 품질 체크리스트도 제공한다.

이 안내서는 AI 코딩 에이전트가 사용하는 기술이나 확장을 만드는 사람을 대상으로 한다. SDK, API, 서비스, CLI, MCP 서버, 스킬, 플러그인, 지침 또는 관련 문서를 만드는 팀은 에이전트가 무엇을 발견하고 적용하는지에 영향을 줄 수 있다. 특정 기술을 소유하지 않고 옹호하는 사람도 시나리오 지식으로 기술을 평가하고, 담당 팀이 수정 여부를 결정하는 데 필요한 근거를 제공할 수 있다.

방법론은 특정 평가 시스템에 의존하지 않는다. 팀에서 직접 만든 시스템이나 기존 시스템을 사용할 수 있으며, 안내서는 평가 시스템이 갖춰야 할 기능을 제시한다.

AX Practitioner 스킬로 익히기

PDF와 함께 AX Practitioner 스킬도 공개됐다. 코딩 에이전트에 설치하면 평가를 진행하면서 기준을 어떻게 표현할지, 에이전트가 확장을 무시한 이유가 무엇인지 등을 질문할 수 있다. 시나리오와 평가 기준이 안내서의 표준에 맞는지 검토하는 데도 쓸 수 있다.

스킬은 안내서의 내용만을 바탕으로 답한다. 질문이 안내서의 범위를 벗어나면 그 사실을 알리고 다른 출처를 사용하기 전에 허락을 구한다. 330개 질문을 대상으로 한 평가에서 답변은 안내서 내용에 비춰 평균 95%의 점수를 받았다.

AX Practitioner Playbook을 다운로드해 첫 평가를 진행할 수 있다. 진행하면서 방법을 익히려면 AX Practitioner 스킬을 설치해 활용하면 된다. 안내서는 자신이 다루는 기술에서 무엇이 올바른지 아는 사람이 에이전트도 이를 알고 있는지 확인하는 방법을 제시한다.