Quantized.uk에서 GPU에 맞는 로컬 AI 모델을 찾는다

GPU나 맥 메모리와 용도를 고르면, Quantized.uk가 맞는 로컬 모델과 메모리 사용량을 보여줍니다. 117개 모델과 78종의 GPU·기기를 다루며, 일부 속도는 실제 장비에서 재고 추정값은 따로 표시합니다. 저는 기기를 출발점으로 삼은 구성이 반갑습니다. 로컬 모델을 고를 때는 내 장비에서 실행할 수 있는지가 먼저이기 때문입니다.

Local Model Guide도 기기별 메모리 적합성과 측정 속도로 로컬 모델을 비교합니다. 개인용 PC에서 AI 모델은 어디까지 돌릴 수 있을까?는 메모리 용량과 대역폭, 압축 정도가 실행 범위를 바꾼다고 다뤘습니다. Quantized.uk는 기기 선택과 메모리 계산을 한곳에 모아 이 판단을 돕습니다.

기기와 용도를 먼저 고르면 후보와 메모리 요구량을 함께 확인할 수 있습니다. 예를 들어 RTX 4060 Ti 16GB에서는 Mistral Small 24B Instruct의 AWQ INT4가 약 13GB를 씁니다. 2.8GB가 남지만, 같은 모델의 GGUF Q4_K_M은 15.9GB를 씁니다. 같은 모델 이름 아래서도 형식에 따라 메모리 여유가 달라지는 점이 실용적입니다.

계산 기준은 문맥 길이(context length) 4K와 배치 크기(batch size) 1입니다. 활성값 메모리 여유분 10%도 기본 계산에 포함됩니다. RTX 4090에서 잰 토큰 처리량(token throughput)은 다른 GPU의 속도 예측치가 아니라 모델 간 순위입니다. 이 수치는 후보를 줄이는 데 쓰고, 실제 속도는 자기 장비에서 따로 확인해야 합니다.

GPU별 모델 찾기에서 본인 기기와 용도를 골라 관심 모델의 메모리 요구량을 확인해 보십시오. 평소 쓰는 문맥 길이를 메모리 계산기에 넣었을 때 여유가 크게 줄면 더 작은 모델이나 다른 형식을 살펴보십시오. 마지막으로 자기 장비에서 짧게 실행해 메모리 사용량과 속도를 확인하면, 어느 후보가 실제 작업에 맞는지 시험할 수 있습니다.

메모리 여유 계산과 실제 장비의 속도 확인 가운데 무엇부터 하시겠습니까?