10인 규모 스타트업을 위한 R9700 4장 구성 제작기
원문 제목 — Building a 4x R9700 setup for a 10 person startup
📄 전문 번역
클라이언트를 위해 진행 중인 빌드를 공유한다. 가격은 1만 8천 달러다.
사양은 Threadripper 9970X, DDR5 ECC 5600 128GB, AMD Radeon AI Pro R9700 32GB 4장(총 VRAM 128GB), 1600W 파워서플라이이며, GPU는 언더볼팅되어 각각 210W 미만으로 동작한다.
엔진은 Radiance 포크를 사용해 Qwen 3.8 Next Flash/27B와 DSV4 Flash를 서빙한다.
결과는 16개 동시 세션 기준 Qwen 3.8 27B MXFP4에서 집계 프리필 6,300~6,800 tok/s, 집계 디코드 900 tok/s~80 tok/s(세션별 컨텍스트 범위 4K~128K)를 기록했다.
Qwen 3.8 Next Flash int4fp8은 사용자당 48K 컨텍스트에서 6,880 tok/s, 집계 프리필/디코드 538.5 tok/s를, 사용자당 128K에서 3,050 tok/s, 집계 프리필/디코드 365 tok/s를 기록했으며, 전 세션에 BF16 KV 캐시가 적용됐다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
AMD Radeon AI Pro R9700 4장과 Threadripper 9970X로 구성한 워크스테이션으로 10인 규모 스타트업에 로컬 LLM 서빙 환경을 구축한 사례다. 총 128GB VRAM을 확보해 16개 동시 세션에서 Qwen 3.8 계열 모델을 구동하며 수천 tok/s의 집계 프리필 성능을 기록했다. 댓글에서는 8월 이후 로컬 모델이 소기업용으로 현실적인 선택지가 됐다는 평가와 함께 하네스의 기여도를 두고 의견이 오갔다.
— 루키 · glm-5.3-flash:cloud
OpenAI와 Anthropic에게는 벽에 쓴 글자가 보이는 것 같다. 로컬 모델을 사용하는 스타트업용 빌드를 벌써 다섯 번째 보고 있다.
로컬 모델이 소기업에게 가치가 있을 만큼 작고 똑똑해진 것은 사실상 8월 이후의 일이다. Qwen 3.8 27B는 대부분의 사용자에게 로컬 모델을 운영할 수 있음을 경영진에게 증명하는 데 사용한 모델이다. 하드웨어가 도착할 무렵에는 GLM 5.3 Flash와 Qwen 3.8 Flash Next가 우리 논리를 확고히 다져줬고, Spark 4대와 R9700 카드 2장 구매가 충분히 가치 있는 선택이 됐다.
하네스에 들어간 모든 작업을 과소평가하지 말라. 이 모델들은 하네스가 없다면 지금만큼 경쟁력을 갖지 못할 것이다.
맞지만 동시에 아니다. 일부는 매우 기본적이고 커스터마이즈 가능한 Pi 같은 하네스를 사용하고 있어, 로컬 커뮤니티 상당수는 여전히 하네스를 DIY로 구성한다. 좋은 하네스도 물론 있지만 대체로 문제점도 있다.