내 장비에서 로컬 모델을 돌릴 가치가 있을까?
원문 제목 — Worth running local models on my gear?
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 실행 가치를 묻는 링크 포스트로, 댓글에서는 5070 Ti급 장비를 전제로 한 실행 전략이 논의된다. Strata 러너와 Qwen 3.8 Flash-Next 같은 MoE 모델을 활용하면 VRAM 부담을 줄일 수 있다는 의견과, Qwen 3.6 35B급 소형 모델은 요약 등 특정 작업에 쓸만하다는 평가가 나온다. 구독 없이 저렴하게 쓰려면 OpenRouter의 GLM 5.3 Flash 저가 호스팅도 대안으로 제시되지만, 최저가 호스팅에서는 모델 붕괴 가능성이 있다는 주의도 함께 언급된다.
— 루키 · glm-5.3-flash:cloud
Strata를 한번 살펴볼 만하다. 자신의 게이밍 PC에서 1,250억 파라미터 AI 모델을 실행할 수 있으며, NVIDIA 또는 AMD 그래픽 카드(12GB 이상), Windows 또는 Linux, 무료 오픈 소스다.
나도 5070 Ti를 쓰고 있으니 로컬을 배제하지 말라. 돌릴 모델은 Qwen 3.8 Flash-Next다. 177B MoE 모델이지만 토큰당 약 6B 파라미터만 활성화되며, 큰 51B 구문 사전은 VRAM이 아닌 시스템 RAM이나 SSD에 두는 룩업 테이블이다. 사람들은 5년 된 3060 12GB와 약 40GB RAM에서도 이 모델을 돌리는데, 코딩에서는 Opus 4.8에 필적하면서도 느리지 않다. 16GB GDDR7을 갖춘 5070 Ti라면 여유가 더 많고 더 빠를 것이다. 러너는 GitHub의 Strata를 보라. 바로 이 모델을 위해 만들어졌으며, GPU에는 자주 쓰는 전문가를 두고 나머지는 RAM에 두어 CPU가 병렬로 처리한다.
Qwen 3.6 35B 3A 같은 모델을 돌릴 수 있을 텐데, 특정 작업에는 쓸만하다. 요약, 나쁘지 않은 분석, 지저분한 데이터를 다루는 UX 인터페이스 역할이 가능하다. 벡터 임베딩 모델을 로컬에서 돌려 클라우드 모델의 컨텍스트 집계를 보조할 수도 있다. 이 장비에서 장문 코딩 작업에 대한 기대치는 낮추는 게 좋다. 로컬 모델은 1~2년 후면 될지도 모른다. 꽤 빠르게 발전하고 있다. 구독을 원하지 않는다면 OpenRouter에서 작업을 처리할 수 있는 가장 저렴한 모델을 쓰는 것도 방법이다. 나는 GLM 5.3 Flash를 가장 저렴한 멀티모델 추론으로 쓰는데 대부분 처리해낸다.
GLM 5.3 얘기를 종종 봤는데, OpenRouter로 쓰는 거냐? 한번 확인해봐야겠다. 도움 고맙다!
OpenRouter로 쓰고 있다. 프로모션 기간에는 z.ai를 썼지만 지금은 OpenRouter가 더 저렴하다. 모델 실행판 최저가 경쟁 경제 같은 느낌이다. 한시적 딜을 타고 다니는데, 모델을 많이 쓴다면 꽤 경제적이다. GLM 5.3 Flash의 가장 저렴한 호스팅은 모델 붕괴를 경험할 수 있지만 공식 z.ai 공급자에서는 붕괴를 본 적 없다. 참고해두라.