Developer Agent Experience(DevAX)는 개발자가 기술을 활용해 만들라고 요청했을 때 AI 코딩 에이전트가 어떻게 작동하는지 평가하고 개선하는 방법이다. Microsoft의 플레이북은 문서, 명령줄 도구(CLI), 모델, 에이전트 확장 등을 실제 개발 작업에서 비교해 결과의 품질과 작업 비용을 함께 측정하도록 안내한다.
플레이북은 웹에서 읽거나 코딩 에이전트에 AX Practitioner skill을 설치해 질문할 수 있다. 설치 명령은 npx skills add microsoft/scope/docs/ax-playbook/ax-practitioner다.
사이트의 사례에서는 SharePoint Framework(SPFx) 프로젝트 업그레이드 작업을 다섯 차례씩 평가했다. 에이전트가 이미 읽는 문서를 고친 뒤 구성 검사 통과 수가 변경 전 30/80에서 변경 후 83/85로 늘었다. 중간에 검사 항목이 하나 추가됐으므로 이 수치는 정확한 증감량이 아니라 전후의 양상을 보여준다. 새 확장 기능을 설치하지 않아도 모든 개발자에게 적용되는 개선이었다고 설명한다. 전체 사례 보기
다른 실험에서는 CLI 인수를 JSON 하나로 전달하는 방식이 작업당 비용을 4~11배 높였지만 정확도는 올리지 못했다. 구조화된 JSON 출력을 추가한 경우 구성 검사 통과 수는 72/85에서 85/85로 늘었지만, JSONL로 바꾸자 토큰 사용량이 2.6배 늘고 결과도 모든 평가 항목에서 나빠졌다. 사용 가능한 모델 중 가장 강력한 모델을 선택한 실험에서는 실행당 비용이 5.6배였고 점수는 1점만 올랐다. 결과는 평가한 작업과 설정에 따른 것이며, 모든 에이전트 작업에 그대로 적용된다는 뜻은 아니다.
DevAX 절차는 대표적인 개발 작업과 성공 기준을 정하고, 개입하지 않은 기준선과 관련 에이전트·모델의 결과를 비교한 뒤 실패와 불필요한 비용을 찾아 개선하는 방식이다. 문서, SDK, 스킬, MCP 서버, 설정 등을 바꾼 뒤 결과 품질과 전체 작업 비용을 다시 측정한다. 평가 방법 플레이북, 시나리오 설계, 평가 실행과 결과 확인, 결과 해석에서 세부 절차를 확인할 수 있다.
자료에는 평가 도구도 소개돼 있다. Scope는 측정 도구이며, atifact와 ATIF Preview는 에이전트가 실제로 한 일을 관찰하는 데 쓰인다. Dev Proxy로 변경 사항을 배포하기 전에 시험할 수 있고, 결과 비교용 Scope readout preview도 제공한다. 도구별 안내
추가 자료로는 에이전트 확장 효과 측정, 확장 기능 간 충돌 진단, 스킬 과부하 방지, 오래된 프로젝트를 생성하는 에이전트 사례, 에이전트가 이미 세운 계획을 바꾸는 방법, 모델 업그레이드 비교, 항상 가장 강력한 모델이 필요하지 않은 이유, AI 벤치마크의 한계, 에이전트 경험의 정의, CLI를 에이전트용으로 다시 쓸 필요가 없는 이유, 배포 전 에이전트 경험 변경 시험하기, 에이전트가 기존 계획을 따르는 방식, 에이전트 경험 스택에서 바꿀 수 있는 부분, 폐기된 CLI와 SDK를 계속 쓰는 이유, 전체 자료 목록을 제공한다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요