Jakub Ćwirlej가 단일 GPU로 1억 6천만 매개변수 코드 모델을 훈련했다

야쿠프 치르레이(Jakub Ćwirlej)는 GPU 한 장으로 EUGEN 160M을 훈련했습니다. 장비는 NVIDIA RTX PRO 6000이고, 모델은 처음부터 만들었습니다. HumanEval 점수는 한 번 시도에서 22.6%, 열 번 시도에서 최고 37.2%였으며 웹사이트 터미널에서 체험할 수 있습니다. 저는 높은 점수보다 한 장의 GPU로 작은 코드 모델을 처음부터 학습했다는 시도가 오래 남습니다.

마이크로소프트는 1만6,000개 GB200 GPU로 2.8조 매개변수 모델을 학습했습니다. EUGEN 160M은 단일 GPU로 처음부터 훈련했습니다. 좁은 코드 작업에 맞춘 점에서 다른 경로입니다. 모델 개발이 규모 확대 하나로만 움직이지 않는다는 점에서 두 사례가 이어집니다.

반가운 점은 용도가 구체적이라는 데 있습니다. EUGEN 160M은 코드 자동완성(code completion), 다음 줄 제안, 파일 중간 채우기를 지원합니다. 특히 Python 코드를 C++로 바꾸는 데 초점을 둡니다. 여러 결과 가운데 컴파일(compile)과 테스트(test)를 통과한 것만 보여 주는 방식도 실용적입니다.

다만 37.2%는 열 번 시도에서 나온 최고점이고, 최근 측정치는 약 34%입니다. 한 번 시도의 22.6%와는 조건이 다르니, 열 번 기회가 주어지는 상황의 성능으로 봐야 합니다. Python-C++ 변환에서는 100개 중 77개가 컴파일됐지만, 53개만 모든 테스트를 통과했습니다. 통과한 후보만 건네는 방식은 실패 답을 줄이지만, 여러 번 생성하고 검사하는 과정도 실제 사용의 비용에 들어갑니다.

웹사이트 터미널에서 짧은 Python 함수를 C++로 바꿔 보십시오. 첫 답 하나만 확인하지 말고 여러 후보를 검사해, 컴파일을 마친 결과와 모든 테스트를 통과한 결과가 얼마나 다른지 살펴보십시오. 차이가 크다면 실제 업무에서는 생성 점수보다 검증 단계가 작업 시간을 좌우할 수 있습니다.

마지막으로 코드 생성 도구가 낸 결과를 직접 테스트한 것은 언제입니까?