줄리앙 시몽(Julien Simon)은 NVIDIA의 GeForce GPU가 혼합 정밀도 학습에 쓰이는 연산에서 워크스테이션 GPU의 절반 속도로 제한돼 있지만, 실제 측정 성능을 가격으로 나누면 여전히 GeForce가 저렴하다고 분석했다. 리눅스 커널 모듈로 제한을 해제하면 일부 카드의 행렬 연산 속도는 더 오르지만, 실제 학습·추론 속도가 두 배가 되는 것은 아니다.
NVIDIA의 백서에 따르면 GeForce RTX 3090과 RTX 4090은 16비트 입력에 32비트 누산을 적용할 때 같은 카드의 16비트 누산 성능보다 낮은 속도로 평가된다. 반면 같은 세대 칩을 쓰는 전문용 카드는 두 누산 방식에서 비슷한 성능을 낸다. 시몽은 2026년 10월 26일 대여한 카드 6종에서 행렬 곱셈을 측정했다. GeForce는 32비트 누산 시 클록당 연산량이 16비트 누산의 약 절반이었고, 전문용 카드는 두 방식의 클록당 성능이 비슷했다. 측정 조건과 결과는 geforce-half-rate 저장소에 공개됐다.
2026년 10월 공개된 리눅스 모듈은 NVIDIA 드라이버보다 먼저 로드돼 카드 설정을 바꾸는 방식이라고 제작자들은 설명한다. 사용자들이 보고한 RTX 3090 결과에서는 모듈 적용 뒤 클록당 연산량이 약 1.9배가 됐다. 다만 전력 제한 아래에서는 클록이 낮아지므로 실제 성능 향상은 이보다 작다. RTX 4090에서는 제작자와 사용자들이 보고한 향상 폭이 10~34% 수준이며, 두 배 향상을 기대해서는 안 된다. 관련 프로젝트는 Ampere 모듈과 Ada 모듈에서 확인할 수 있다.
효과는 작업에 따라 다르다. 파인튜닝과 긴 프롬프트 처리처럼 행렬 연산이 많은 작업은 빨라질 수 있지만, 토큰을 하나씩 생성하는 작업은 메모리 대역폭에 좌우돼 이득이 없다고 시몽은 설명한다. 양자화 가중치를 정수 커널로 처리하는 llama.cpp도 향상이 작을 수 있다. 모듈 적용에 실패한 사례가 있고, 한 사례에서는 카드가 NVIDIA 드라이버에서 사용할 수 없는 상태가 됐다. 2026년 10월 25일 기준으로 Blackwell 세대 RTX 5090에는 모듈이 사용하는 진입점이 없어 적용할 수 없다.
시몽은 대여 GPU에서 실행한 행렬 곱셈 결과를 가격과 비교했다. 이는 전체 학습 작업이 아니라 행렬 곱셈 측정치이며, 모든 카드가 작업을 똑같이 바쁘게 처리한다고 가정한 비교다. 그의 분석에서는 중고 GeForce가 실제 전달한 연산량 기준으로 가장 저렴했다. RTX 6000 Ada는 48GB 메모리와 ECC를 제공하지만, 새 제품 가격은 GeForce보다 연산량당 네 배 이상 높을 수 있었다. 반면 이전 세대 Ampere에서는 A6000이 RTX 3090보다 더 많은 연산을 제공해 결과가 달라졌다. 대여 비용 비교에서도 Ada 세대는 RTX 4090이 RTX 6000 Ada보다 연산량당 저렴했지만, Ampere 세대에서는 A6000이 RTX 3090보다 연산량당 저렴했다. RunPod 대여 환경에서는 모듈을 로드할 수 없어 이 비교는 제한이 적용된 카드 기준이다.
따라서 모델이 GeForce의 24GB 또는 32GB 메모리에 들어간다면 연산량당 가격을 우선해 GeForce를 고려할 수 있다. 모델에 더 많은 메모리가 필요하다면 전문용 카드의 48GB 메모리와 ECC를 선택할 이유가 있지만, 그 가격이 더 높은 연산 성능을 보장하지는 않는다고 시몽은 주장한다. 또한 NVIDIA의 GeForce 소프트웨어 라이선스 2.8절은 GeForce 또는 Titan 소프트웨어를 데이터센터에 배포할 수 없다고 명시한다. (라이선스)
댓글 (0)
로그인하면 이 기사에 내 생각을 남길 수 있어요