llmrun에서 GPU에 맞는 오픈 모델을 찾아본다

llmrun은 GPU나 애플 실리콘 기기로 실행할 오픈 모델을 찾게 해 줍니다. 기기별 그래픽 메모리(VRAM) 요구량과 예상 속도도 보여줍니다. 장비에 맞는 후보를 빨리 좁힐 수 있다는 점은 반갑지만, 예상 속도가 실측처럼 보일 수 있다는 점은 마음에 걸립니다.

같은 문제를 다루는 Quantized.uk는 117개 모델의 메모리 요구량과 실제 하드웨어 측정값을 제공합니다. llmrun의 예상 속도와 나란히 보면, 추천에 쓰인 숫자가 실측인지 추정인지부터 구분할 수 있습니다.

반가운 점은 기기 용량과 사용 분야를 함께 골라 후보를 좁힐 수 있다는 데 있습니다. 모델 목록을 막연히 훑는 대신 코딩이나 추론처럼 원하는 일에 맞춘 목록에서 시작하고, Ollama나 LM Studio 설치 안내까지 이어집니다.

각 모델의 VRAM 수치는 Q4 기준이고, 24GB GPU 목록의 속도는 예상치입니다. 실제 하드웨어에서 검증된 값이 아니므로, 메모리에 들어간다는 표시는 실행 가능성의 단서일 뿐 내가 쓸 때의 반응 속도까지 보증하지 않습니다. 이 차이는 어떤 모델을 시험할지, 더 작은 모델을 택할지 바꿉니다.

먼저 보유한 GPU나 맥을 고르고, 실제 쓰임에 맞춰 코딩·추론 등에서 후보를 두세 개로 줄이십시오. 그중 하나를 Ollama나 LM Studio로 설치해 평소 쓰는 질문을 넣고 응답 속도와 결과 품질을 확인하십시오. 사이트의 예상 속도와 실제 체감이 얼마나 다른지 직접 비교해 보십시오.

마지막으로 GPU나 맥에 맞는 모델을 고르셨을 때, 예상 속도와 실제 속도가 달라 선택을 바꾸신 적이 있습니까?