Apgar는 AI 에이전트 배포 뒤 동작 저하를 감지한다

Apgar는 새 버전의 AI 에이전트가 이전보다 나빠졌는지 추적 데이터(trace data)로 살핍니다. 오류와 재시도·반복, 도구 호출 수, 답변 길이, 비용과 지연 시간(latency)의 변화를 봅니다. 저는 답변 문장을 저장하거나 별도 평가자에게 맡기지 않고도 배포 뒤 흔들림을 드러내려는 방식이 눈에 들어왔습니다. 작업은 끝난 듯 보여도 재시도나 비용이 먼저 달라질 수 있기 때문입니다.

에이전트 품질을 살피는 방법은 서로 다른 빈틈을 겨냥합니다. Mistrial은 LLM 평가자의 판정이 일관적인지 점검하고, Apgar는 평가자나 데이터셋 없이 배포 뒤 운영 지표의 변화를 봅니다. 답변 판단의 신뢰성과 실제 운영 신호를 나눠 살핀다는 점에서 두 도구가 이어집니다.

품질을 비교하려면 평가자나 평가용 자료부터 마련하기 쉽습니다. Apgar는 이미 모으는 추적 데이터로 릴리스별 변화를 확인하므로, 별도의 LLM 평가자나 데이터셋 없이 시작할 수 있습니다. 프롬프트와 완성된 답변 텍스트를 저장하지 않는다고 설명하는 점도 눈에 띕니다.

다만 이 도구가 직접 보여주는 것은 정답 여부가 아니라 오류·재시도·도구 호출 수·비용·지연 시간의 움직임입니다. 지표가 안정적이어도 답변이 나빠질 수 있고, 지표가 달라져도 그 원인이 답변 품질 저하라고 단정할 수 없습니다. 비교하려면 OpenTelemetry나 Langfuse에 추적 데이터를 보내고 배포마다 릴리스 속성을 지정해야 합니다. 각 릴리스의 첫 몇 시간 동안 전체 트래픽을 살피므로, 그 시간에 관측할 데이터가 충분한지도 결과를 읽는 데 영향을 줍니다.

에이전트 추적 데이터를 이미 모으고 있다면, 다음 배포 하나에 버전 표기를 붙여 OpenTelemetry나 Langfuse로 연결해 보십시오. 첫 몇 시간 동안 재시도·도구 호출·비용이 어느 작업에서 달라지는지 확인하십시오. 변화가 없더라도 답변 품질까지 검증된 것은 아니라는 점을 따로 기록하십시오.

최근 에이전트나 자동화 도구를 업데이트했을 때, 이상을 가장 먼저 알아챈 것은 어떤 지표였습니까?