ForensicDbg 제작진은 Claude Code를 이용한 크래시 덤프 평가에서 자사 도구가 분석 품질과 해결책의 실행 가능성에서 가장 높은 점수를 받았다고 밝혔다. 다만 이는 제작진이 설계하고 수행한 비교 평가 결과다.
평가에는 기본 Sonnet Medium 설정의 Claude Code 5.5를 사용했다. 실제 크래시 덤프 6개와 합성 덤프 4개를 도구별로 각각 10회 분석해 총 500회 실행했다. 미니덤프와 전체 덤프, 심볼·실행 파일·소스 코드가 포함된 사례와 덤프 파일만 있는 사례를 섞었다.
비교 대상은 자체 MCP 서버를 통해 Claude에 연결한 ForensicDbg, MCP 서버 mcp-windbg, CDB 명령줄을 직접 사용한 방식, LLDB 직접 사용, 별도 디버깅 도구 없이 분석하는 방식이었다. 제작진은 WinDbg의 공식 MCP 서버를 평가했지만 설정이 어렵고 접근 방식이 제한적이며, mcp-windbg보다 결과가 의미 있게 낫지 않았다고 설명했다. Claude가 LLDB의 내장 MCP 서버를 반복해서 작동시키지 못해 LLDB는 직접 사용했다.
| 도구 | 분석 품질 | 해결책 실행 가능성 | 비용 | 시간 |
|---|---|---|---|---|
| ForensicDbg | 9.1 | 8.5 | $0.1314 | 28.239 s |
| mcp-windbg | 6.5 | 6.5 | $0.1379 | 32.935 s |
| LLDB | 5.9 | 6.0 | $0.0942 | 26.992 s |
| CDB | 5.7 | 5.6 | $0.0952 | 23.421 s |
| 도구 없음 | 2.9 | 3.2 | $0.1599 | 67.504 s |
제작진은 ForensicDbg가 분석 품질과 해결책 실행 가능성에서 가장 높은 점수를 얻었고, 비용과 시간은 비교 대상 가운데 중간 수준이었다고 평가했다. CDB를 함께 사용하는 mcp-windbg와 직접 CDB를 쓴 결과를 비교하면, 제작진은 MCP 서버가 분석과 해결책 제안에 도움을 줬다고 해석했다. 반면 도구 없이 분석한 방식은 다섯 지표 모두에서 가장 낮은 점수를 받았다.
원시 평가 결과는 비교 평가 보고서에서 확인할 수 있다.
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요