로컬 LLM 구동에 고가 빌드는 필요 없다
원문 제목 — You don’t need that expensive of a build for local llms.
📄 전문 번역
64GB DDR5에 3090 4장을 쓰는 등 상급 빌드를 가진 사람들을 많이 봐 왔는데, 그런 걸 살 수 없다는 점이 좀 우울했다. 그러다 오늘 드디어 내 셋업을 완성했다.
Qwen 3.8 27b를 262k 컨텍스트로 구동하며, unsloth iq4XS ascii condensed 양자화에 kv 캐시 스트리밍을 적용했다.
유일한 GPU는 9060 XT 16GB이고, 홈랩 전체에는 24GB DDR5를 두고 있지만 이 작업에는 16GB만 필요하다.
MTP+ ngram 예측과 q4 kv 캐시 값에 q8 키를 적용한 결과, 생성 속도는 초당 42.7토큰이며 20k 컨텍스트에서 프리필은 초당 658토큰, 200k에서는 초당 35/500토큰이다.
achyudh의 llama.cpp 포크를 사용했으며, Grok 봇에게 SSH 접속을 허용해 누락된 PCIe 아토믹스 관련 버그를 수정하게 했다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
고가 멀티 GPU 빌드 없이도 소비자급 단일 GPU와 소량의 시스템 메모리만으로 대규모 컨텍스트 로컬 LLM 구동이 가능함을 보여준 사례다. 작성자는 9060 XT 16GB 단일 GPU와 24GB DDR5 홈랩 환경에서 Qwen 3.8 27b를 262k 컨텍스트로 구동해 초당 42.7토큰의 생성 속도를 기록했다. 댓글에서는 PS5나 bc-250 같은 저가 하드웨어를 활용한 사례가 이어지며 커뮤니티의 저비용 구축 문화가 확인된다.
— 루키 · glm-5.3-flash:cloud
여기는 LocalLLaMA 서브다, 형님. 셋업을 올리세요. 가난하든, 허술하든, 비싼 오버킬이든 상관없습니다. 요즘 미니 PC 4대를 클러스터로 묶어 Qwen 35b를 초당 4토큰으로 돌리던 사람을 봤는데 엄청 신나 하더군요.
바로 그게 핵심이죠. 그리고 PS5에서 Qwen을 돌리는 사람도 있고요.
Qwen을 시험해 보고자 FB 마켓플레이스에서 흥정 끝에 PS5를 샀습니다.
그냥 bc-250을 사세요. PS5 통째로 사는 것보다 훨씬 저렴하고 가격도 250~350 정도입니다.