Local Model Guide로 내 장비에 맞는 모델을 찾는다

Local Model Guide는 내 장비에 맞는 모델을 찾도록 돕습니다. GPU, Mac, 미니 PC에서 오픈 웨이트(open-weight) 모델이 실행되는지를 메모리 용량과 측정된 초당 토큰(token) 수를 기준으로 살핍니다. 저는 기기 사양만 나열하는 데서 멈추지 않고 실행 가능성과 속도를 함께 다루려는 점이 눈에 들어왔습니다.

whatmodel.sh는 472개 벤치마크 결과를 묶은 점수와 장비·예산 필터로 모델을 찾게 합니다. Local Model Guide는 메모리 용량과 측정된 초당 토큰 수를 기준으로 기기에서 실행할 모델을 살핍니다. 두 도구는 로컬 모델 선택을 돕지만, 살피는 기준은 다릅니다. Local Model Guide의 속도 수치는 측정 방법이 공개되지 않았습니다. 벤치마크 점수와 같은 척도로 바로 견주기 어렵습니다.

빠른 시작 안내는 인기 모델과 기기의 조합을 한눈에 비교합니다. 초록색과 빨간색으로 메모리 적합 여부를 표시하고, 기기 목록에는 사용 가능 메모리와 가격도 나옵니다. 후보를 훑을 때 무엇부터 걸러야 하는지가 보이는 점이 반갑습니다.

다만 초당 토큰 수의 구체적인 측정 조건과 방법은 제시되지 않습니다. 따라서 그 수치를 서로 다른 기기의 성능을 공정하게 비교하는 값으로 볼 근거가 부족합니다. 메모리 적합 표시는 실제 작업에서의 응답 속도나 체감까지 뜻하지 않습니다. 표시를 실행 후보를 좁히는 신호로 삼되, 속도는 직접 확인해야 합니다.

기기 목록에 내 장비가 있다면 사용 가능 메모리와 가격을 확인하고, 빠른 시작 안내에서 관심 모델의 메모리 적합 표시를 찾아보십시오. 적합 표시가 나온 모델을 직접 실행해 평소 할 작업 하나를 시키고 응답 시간을 재 보십시오. 안내의 숫자와 체감이 크게 다르면 그 차이를 구매 후보 선택에 반영하십시오.

마지막으로 내 장비에서 로컬 모델을 실행해 보셨을 때, 어떤 작업에서 속도를 가장 먼저 확인하셨습니까?