단위 테스트를 대량으로 삭제하는 흐름에 대해 글쓴이는 테스트 자체보다 AI 에이전트가 작성한 테스트를 읽지 않고 병합한 관행이 문제라고 주장한다. 테스트는 코드가 지켜야 할 동작을 기록하고 이후 변경으로 기능이 깨지는 일을 막으므로, 없애기보다 검토해야 한다는 주장이다.
글은 테스트 없이 수행한 DeepSWE 작업에서 에이전트 작업 시간이 6%, 비용이 9% 줄었다는 결과를 소개한다. 다만 이는 한 번 수행하는 작업을 비교한 벤치마크일 뿐, 이후 변경에서도 의도한 동작이 유지되는지는 시험하지 않았다. 비교에 참여한 쿤 첸(Kun Chen)도 구현과 테스트가 모두 에이전트가 의도를 해석한 결과였다고 밝혔다. 글쓴이는 이를 테스트의 결함보다 아무도 테스트를 읽지 않았다는 문제를 보여주는 사례로 본다.
글쓴이는 단위 테스트가 회귀를 잡고, 리팩터링을 안전하게 하며, 빠르고 정확한 피드백과 동작에 관한 문서를 제공한다고 설명한다. 단위 테스트는 밀리초 안에 실행되고 오프라인에서도 같은 결과를 내지만, 엔드투엔드 테스트는 실행 중인 시스템이 필요하고 간헐적으로 실패할 수 있다. 모든 검증을 엔드투엔드 테스트에 맡기면 더 큰 비용으로 테스트 범위가 줄어든다는 것이 글의 주장이다.
AI가 작성한 테스트를 검토할 때는 코드를 일부러 잘못 바꿔 테스트가 실패하는지 확인하고, 구현 방식이 아니라 요구된 동작을 검사하는지 살펴야 한다. 중요한 부분을 모두 모의 객체(mock)로 대체한 테스트는 실제 통합을 검증하지 못할 수 있다. 에이전트가 실패한 테스트를 임의로 수정하거나 삭제하게 두지 말고, 테스트를 작성한 모델과 다른 모델에게도 각 테스트가 해당 동작의 고장을 잡아낼지 검토하게 하라고 제안한다.
글은 코드와 테스트를 커밋하고 병합하는 팀이 그 내용에 책임져야 한다고 강조한다. 에이전트가 만든 테스트가 쓸모없다면 테스트 자체를 없애기보다 실제 동작을 검증하는지 사람이 확인해야 한다는 결론이다. 글은 718개 기업을 분석한 하버드 연구에서 코딩 에이전트 도입 뒤 수정이 필요한 풀 리퀘스트 비중이 거의 두 배로 늘었다고 소개하며, 검토가 사라진 것이 아니라 더 중요해졌다고 덧붙인다.
참고 자료: 멀티 에이전트 코드 검토와 reviewbot, Chen과 Stratton의 2026년 연구 ‘Artificial Intelligence in the Firm’, AI 모델 운영 비용에 관한 자료
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요