시스코가 직원에게 AI 토큰을 무제한 제공해 레거시 코드 98%를 바꾸게 했다

시스코가 레거시 코드(legacy code) 98%의 재작성을 맡겼습니다. 제투 파텔(Jeetu Patel) 사장은 이를 24개월 안에 끝내도록 했습니다. 그 직원은 파드마나반 크리슈나무르티(Padmanabhan Krishnamurthy)입니다. 파텔은 4주간의 개념 검증(proof of concept)에 쓸 AI 토큰(token)을 무제한 제공했습니다. 저는 무제한이라는 말보다, 검증 결과가 제시되지 않은 채 98%라는 목표만 남은 점이 더 걸립니다.

앤스로픽은 AI 에이전트의 코드 변경이 하루 3만 건을 넘자 Scion을 만들었습니다. 시스코의 재작성 구상과 함께 보면, AI가 코드를 많이 고치는 순간 그 결과를 검증하고 다루는 운영 도구도 중요해집니다.

반가운 점은 실험의 규모를 토큰 예산으로 먼저 잘라내지 않았다는 데 있습니다. 크리슈나무르티는 두 명으로도 가능하다고 제안했고, 시스코는 실제 코드 작업으로 그 말을 시험할 자원을 붙였습니다.

다만 두 명이면 할 수 있다는 말은 제안이지 결과가 아닙니다. 4주 검증은 24개월짜리 전체 재작성보다 훨씬 짧고, 그 검증이 98% 목표를 얼마나 뒷받침했는지는 확인할 자료가 없습니다. 코드 변경량이나 품질 결과도 제시되지 않았습니다. 투입한 토큰의 양만으로 이 계획을 성과라고 부를 수는 없습니다.

개발팀이라면 AI로 바꿀 코드 범위를 작게 정해 수정 전후 테스트 결과와 검토자가 되돌린 변경 수를 함께 기록하십시오. 같은 범위를 기존 방식으로 고친 시간과 비교하면, 토큰을 더 쓴 일이 실제 작업 시간을 줄였는지 시험할 수 있습니다.

코드를 대규모로 바꿀 때, 평소 무엇을 먼저 확인하고 누가 결과를 검토합니까?