RigCheck로 내 GPU에서 오픈 모델이 돌아갈지 가늠한다

RigCheck는 그래픽카드나 Mac의 메모리를 골라 오픈 모델 실행 가능성을 가늠합니다. 결과가 실제 측정인지 용량 추정인지도 구분합니다. 저는 이 차이를 앞에 내세운 점이 마음에 남았습니다. 메모리에 들어간다는 말만으로 실행 속도까지 기대하기 쉽기 때문입니다.

Local Model Guide는 메모리 적합 여부와 측정된 초당 토큰 수로 장비와 모델을 비교하도록 돕습니다. RigCheck는 실행 가능성을 용량 추정과 실측으로 나눠 보여주므로, 두 도구는 ‘들어가는가’와 ‘얼마나 빠른가’를 따로 살피게 합니다.

반가운 점은 모델 요구량을 일일이 찾아 맞추는 대신, 장비를 먼저 고르고 실행 가능한 모델을 확인할 수 있다는 것입니다. 빠른 확인에서는 GeForce RTX 3060 12GB와 RAM 32GB 조합을 살핍니다. Gemma 4 12B의 Q5_K_M를 GPU 메모리에 모두 올릴 수 있다고 추정합니다.

다만 이 결과는 llama.cpp와 32K 컨텍스트를 기준으로 한 용량 추정이지, 해당 장비에서 잰 실행 결과가 아닙니다. 메모리에 들어간다는 결과가 실행 속도나 실제 작업 성능까지 알려주지는 않습니다. ‘조건 있음’은 일부를 시스템 RAM에 올려야 하거나 최대 메모리 사용량이 실측되지 않았다는 뜻일 수 있습니다. 실행 경로에 조건이 있을 때도 표시되므로, 모델 선택이 달라질 수 있습니다.

현재 쓰는 그래픽카드와 RAM을 선택해 관심 모델의 결과를 열어 보십시오. 출처가 공식 측정값인지 추정치인지, 마지막 확인 시점은 언제인지 살펴보십시오. 추정만 있다면 속도 판단과 분리하고, 실행할 수 있는 모델은 직접 띄워 로딩 여부와 메모리 사용량을 확인해 보십시오.

평소 새 모델을 고를 때, 메모리 적합성과 실제 속도 중 무엇을 먼저 확인하십니까?