Datadog이 운영 장애 조사에 특화한 첫 AI 모델 Scout 1.0을 공개했다. Scout는 AI SRE 제품 Bits Investigation에 적용되며, Datadog 내부 팀과 일부 고객이 비공개 미리보기에서 운영 알림 조사에 사용하고 있다.

Datadog은 Scout 1.0 medium이 자체 평가 시나리오에서 GPT-6.1 Sol high 및 Claude Opus 5.5 high와 비슷한 성능을 내면서 추론 비용은 3~8배 낮다고 밝혔다. Fable medium 및 Astra medium과 비교하면 각각 비슷한 성능을 12배, 19배 낮은 비용으로 낸다는 설명이다. 추론 시 계산량을 늘리는 테스트 시점 스케일링(test-time scaling)을 적용한 Scout 1.0 xhigh는 Fable xhigh와 비슷한 성능을 4배 낮은 비용으로 제공한다고 Datadog은 설명했다.

이 수치는 Datadog의 내부 벤치마크 AlertEval에서 조사 결과와 전문가가 작성한 기준 설명이 얼마나 일치하는지를 0~100점으로 측정한 것이다. 장애를 해결한 비율은 아니다. 비용은 조사 1회당 추정 추론 비용이며 Scout 1.0 medium을 기준으로 비교했다. Datadog은 별도의 제3자 벤치마크 SREGym에서도 Scout 1.0 medium이 기반 모델 GLM-5.3-Flash보다 개선됐고, GLM-5.3을 넘으면서 비용은 4배 넘게 낮았다고 밝혔다. 이 벤치마크에서 Scout 1.0 high는 최고 성능 모델들과 경쟁할 만한 수준을 보였으며, 경쟁 모델보다 비용이 최소 2배 낮았다는 설명이다.

Scout 1.0은 GLM-5.3 Flash를 기반으로 만들고 강화학습으로 추가 학습했다. Datadog은 실제 과거 장애와 원격 측정 데이터를 활용해 원인이 알려진 조사 시뮬레이션을 구성했으며, 학습 시뮬레이션에는 고객 데이터가 포함되지 않는다고 밝혔다. 모델은 Bits Investigation에서 사용하는 도구를 본뜬 도구로 증거를 모으고 여러 원인 가설을 검토하도록 학습됐다. Datadog은 학습·평가·시뮬레이션을 대규모로 실행하는 자체 인프라도 오픈소스 도구를 바탕으로 구축했다.

AlertEval은 Datadog 엔지니어가 실제 알림, 보관된 원격 측정 데이터, 엔지니어가 작성한 근본 원인 설명을 모아 만든 평가 도구다. Datadog은 실제 장애에서도 학습한 조사 능력이 통하는지 확인하는 데 이를 사용했다고 설명했다. 자세한 내용은 기술 보고서에서 확인할 수 있다.

Datadog은 앞으로 더 다양한 장애를 시뮬레이션해 조사 품질을 높이고 추론 비용을 낮출 계획이다. 조사에 그치지 않고 문제를 자동으로 복구하는 기능으로도 접근법을 넓히겠다고 밝혔다. 현재 Bits Investigation은 비공개 미리보기 단계다.