sjq가 AI 스트리밍 출력을 줄 단위로 보여준다

sjq는 AI 스트리밍 응답을 이벤트별로 읽어 토큰과 부가 정보, 시간을 줄마다 보여주는 명령줄 도구입니다. 저는 응답이 다 나온 뒤에만 결과를 보는 방식과 달리, 생성 중의 흐름을 따라갈 수 있다는 점이 반갑습니다.

Snapkin의 10개 모델 시험에서는 한 줄 JSON 지시가 7개 모델의 응답 시간과 비용을 줄였습니다. 출력 방식이 응답 시간에 영향을 주는지 살피는 일과 스트림의 시간을 확인하는 일은 맞닿아 있습니다. sjq는 첫 토큰까지의 시간과 전체 시간을 출력합니다.

기존에는 스트리밍 응답을 jq로 살펴보기 까다로웠습니다. sjq는 오픈AI 호환 스트림에서 토큰을 보여주고, 끝난 뒤 첫 토큰까지의 시간과 전체 시간, 속도를 출력합니다. 막연한 대기 시간을 실제 흐름으로 나눠 볼 실마리가 생겼습니다.

지원 범위는 오픈AI 호환 /v1/chat/completions와 /v1/responses 스트림입니다. 연결 시간과 첫 응답까지 걸린 시간은 sjq가 curl을 직접 실행할 때만 나오며, 파이프로 입력하면 연결을 맺는 시간은 알 수 없습니다. 저장 파일을 재생할 때는 시간 정보가 빠집니다. 응답 흐름만 보려는지 연결까지 살피려는지에 따라 실행 방식이 달라집니다.

지원되는 경로를 쓰신다면 평소 느리다고 느낀 요청을 sjq curl로 보내 첫 토큰까지의 시간과 전체 시간을 적어 보십시오. 같은 요청을 몇 차례 살펴 첫 토큰을 기다리는 시간이 긴지, 그 뒤 출력이 이어지는 시간이 긴지 비교하면 점검할 구간을 가늠할 수 있습니다.

첫 토큰을 기다리는 시간과 토큰이 이어지는 속도 가운데 무엇부터 확인하시겠습니까?