오픈AI가 GPT-6로 코드 정리와 테스트를 개선했다

오픈AI Core Experimentation 팀은 GPT-6 Astra와 GPT-6.1 Sol을 이용해 사용하지 않는 코드와 오래된 실험을 찾아 정리하고 CI 시간을 줄였다고 밝혔다. 팀은 모델이 제안한 변경을 검토하고 근거를 확인했으며, 일부 작업에서는 비용이 더 낮은 GPT-6.1 Sol도 GPT-6 Astra에 가까운 결과를 냈다.

팀은 GPT-6 Astra에 저장소의 불필요한 코드를 찾아 정리해 달라는 짧은 요청을 주고, 과거 PR과 Slack 대화, 프로젝트 추적 시스템, 프로덕션 성능 데이터를 확인하도록 했다. 이후 엔지니어 5명이 여러 저장소에서 요청을 변형해 실행했고, 2주 동안 다른 프로젝트를 주로 진행하면서 유지보수 PR 1,400건 이상을 병합했다. 코드 80만 줄 이상을 삭제했으며, 한 서비스의 컨테이너 이미지 크기는 3.31GB에서 1.72GB로 48% 줄었다. 다른 정리 작업에서는 테스트 스위트의 시각적 스냅샷 변형 약 400개를 제거했다.

오래된 실험 정리는 사용하지 않는 코드 제거보다 복잡했다. 실험 코드가 프로덕션에서 실행 중이거나 자격 조건 평가에 의존할 수 있어 정적 분석만으로는 판별하기 어려웠다. Astra는 오래된 것으로 표시된 항목에만 한정하지 않고 Statsig 설정과 사용 기록을 살피고, 간접 참조와 CPU 비용도 조사하도록 요청받았다. 모델은 근거와 함께 후보를 보고했고, 팀은 이를 검토한 뒤 실험과 기능 플래그 수백 개를 정리했다.

한 사례에서 Astra는 여러 기능 플래그를 연결하는 한 줄의 Python 코드가 CPU 작업을 크게 늘리는 것을 발견했다. 해당 플래그가 관리 콘솔에서 ‘Permanent’로 표시돼 있었기 때문에 모델은 바로 제거하지 않고 사람의 검토 대상으로 올렸다. 검토 후 플래그를 제거했으며, 팀은 주된 영향을 받은 서비스에서 CPU 사용량이 0.42% 줄 것으로 추정했다.

팀은 6,000개가 넘는 파일과 100만 줄 이상의 코드가 있는 하위 디렉터리에서 오래된 실험을 찾는 작업으로 모델 비용도 비교했다. 수치는 Codex가 목표를 수행하며 자동으로 실행한 후속 작업과 조사 하위 에이전트를 포함한 표준 API 가격 기준이다.

이 비교에서 GPT-6.1 Sol Ultra는 GPT-6 Astra Ultra 발견 건수의 92%를 기록하면서 API 비용은 14%였다. Medium은 비용이 더 낮았지만 채택된 발견 건수도 적었다. Astra는 다른 기능 플래그의 의존 항목으로 쓰인 상수 플래그를 찾아냈지만 Sol은 놓친 사례도 있었다. 팀은 이런 차이를 바탕으로 프롬프트를 조정하되, 새 모델이 나오면 조정 내용을 다시 검토해야 한다고 설명했다.

팀은 CI 실행 기록을 살펴 부하를 줄일 방법을 찾는 작업도 진행했다. 제안을 검토한 뒤 최적화 PR 약 30건을 병합했고, CI 완료 시간 중앙값은 약 10분에서 4.5분으로, 90백분위 시간은 12.5분에서 6분으로 줄었다. 이후 누락된 모의 객체(mock)를 추가한 수정에서는 테스트 63개를 유지하면서 한 리졸버 테스트 스위트의 실행 시간이 592.6초에서 29.8초로 95% 감소했다.

팀은 모델의 제안이 기대 효과보다 복잡성을 더할 때도 있어 우선순위 설정과 측정, 사람의 검토가 중요하다고 강조했다. 다른 코드베이스에서 시도할 때는 사용하지 않는 코드나 오래된 기능 플래그, 불안정한 테스트처럼 작은 작업부터 시작해 근거와 작은 초안 PR을 요청하고, 모델과 추론 수준에 따른 결과와 비용을 비교한 뒤 범위를 넓히는 방식을 권했다.