토르발스가 언어 모델로 리눅스 코드의 버그를 찾았다

리누스 토르발스(Linus Torvalds)는 난해한 커널 코드를 읽으려 대규모 언어 모델(LLM)을 썼습니다. 사용자 공간(user space) 테스트에서는 보고된 버그 외에 세 건이 더 발견됐습니다. 저는 모델이 버그를 직접 잡았다는 인상보다, 코드 정리 뒤 테스트가 오래된 결함까지 드러낸 대목이 더 오래 남습니다. 그 결함은 2013년에 처음 추가된 라이브러리에 남아 있었습니다.

dirigo가 테스트를 통과한 CUDA 커널 6,988개 가운데 600개에서 버그를 찾은 일도 이 흐름과 이어집니다. 한쪽은 대량 분석이고 다른 쪽은 한 라이브러리의 코드 정리 뒤 시험이지만, 둘 다 테스트가 눈에 띄지 않던 결함을 드러냈습니다.

코드가 너무 난해해 수정안도 따라가기 힘들던 상황에서, 큰 함수를 나누는 방향을 택한 점이 반갑습니다. 가독성 개선에 그치지 않고 이어진 테스트가 보고된 문제와 오래된 결함까지 드러냈습니다.

사용한 모델과 테스트 환경의 세부 조건은 공개되지 않았고, 추가로 발견된 세 건이 모두 수정됐는지도 알 수 없습니다. 그러니 언어 모델이 버그 세 건을 직접 찾아냈다고 단정할 수는 없습니다. 토르발스는 모델의 도움으로 코드를 정리한 뒤 사용자 공간에서 시험해 추가 결함을 드러냈습니다.

커널 코드가 복잡해 읽기 어려울 때 큰 함수 하나를 골라, 언어 모델에 동작을 바꾸지 않고 나눠 보도록 하십시오. 바뀐 코드를 직접 비교한 뒤 독립 테스트에서 보고된 오류를 재현하고, 수정 전후에 같은 시험을 돌려 보십시오. 기존 오류가 사라지고 새 실패가 생기지는 않는지 확인할 수 있습니다.

코드가 복잡해 수정안을 검토할 때, 평소 무엇을 먼저 확인하십니까?