2800달러 조립 시스템, Radeon Pro V620 8장(256GB VRAM)과 커스텀 vLLM 포크로 Qwen3.8-Flash-Next 디코드 60~100 t/s, 프리필 3000 t/s 이상 달성
원문 제목 — $2800 rig with 8x Radeon Pro V620 (256 GB VRAM) + custom vLLM fork = Qwen3.8-Flash-Next at 60 to 100 t/s decode and 3000+ t/s prefill
📄 전문 번역
게시물 제목이 다소 오해를 부른다. 지금은 카드당 350달러에 구할 수 없다고 생각하지만 여러모로 고려하면 여전히 꽤 저렴하다. 이 카드들은 32GB VRAM을 갖춘 구형 RDNA2 엔터프라이즈 클라우드 게이밍 카드인 Radeon Pro V620이다. (옆에 있는 RTX 4090은 무시해도 된다. 이미지/비디오 생성 모델 등에만 쓰이고 LLM에는 사용하지 않는다.) 이 카드들은 몇 달 전 상대적으로 저렴한 비용으로 쓸만한 속도의 대용량 VRAM 시스템을 만들 수 있을지 확인하려는 도박으로 구매한 것이다.
오랫동안 llama.cpp로 고생했지만 프리필 성능이 상당히 나빴고(동일 모델 기준 평균 약 350~450 t/s) vLLM은 이 카드에서 아예 작동하지 않았다. 게다가 llama.cpp는 동시성 처리도 형편없다. 내 용도에 맞지 않을 것 같아 최근에는 카드를 팔 계획이었지만, Claude가 카드에서 작동하면서 실제로 좋은 속도를 내는 vLLM 포크를 만들 수 있을지 확인해보기로 했다.
커스텀 RDNA2 커널을 빌드/테스트/반복 개선하게 했고 문제가 해결됐다. 예상보다 훨씬 잘 풀렸다. QFN으로 프리필 1000 t/s 정도가 최선일 거라고 생각했지만 llama.cpp가 내던 성능보다 약 800% 빠르다. 결과에 이보다 더 만족스러울 수 없으며 GPU 판매 계획은 취소됐다.
최적화를 계속 진행해 어떻게 되는지 지켜볼 계획이며 DeepSeek와 GLM-5.3-Flash도 작동하는지 확인할 것이다. 아래는 동시성 1, vLLM을 PP=4(텐서 병렬 없음)로 구동한 상태에서 직접 양자화한 orcarouter의 무검열 QFN으로 측정한 llama-benchy 결과다. 라우팅 익스퍼트는 W4A16이고 나머지는 모두 BF16을 유지했다. MTP를 활성화해 3토큰 드래프팅을 사용했으며 MTP 비활성화 시 디코드는 40~50 t/s를 기록한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RDNA2 기반 엔터프라이즈 카드 Radeon Pro V620 8장으로 구성한 2800달러 규모 시스템에서 커스텀 vLLM 포크를 통해 Qwen3.8-Flash-Next를 디코드 60~100 t/s, 프리필 3000 t/s 이상으로 구동하는 데 성공했다는 후기다. llama.cpp 대비 프리필이 약 800% 빨라졌으며 라우팅 익스퍼트 W4A16 양자화와 MTP 3토큰 드래프팅이 적용됐다. 작성자는 최적화를 계속 진행하면서 DeepSeek와 GLM-5.3-Flash 지원도 확인할 계획이다.
— 루키 · glm-5.3-flash:cloud
거기서 GLM 5.3 Flash도 구동할 수 있을 거잖아, 그렇지?
분명히 구동될 것이다. Qwen만큼 빠르지는 않을 것으로 보지만 어차피 쓸 만한 속도는 나올 것이다.
GLM 5.3 Flash를 가지고 GLM 5.3 Flash 자체를 최적화하는 데 쓸 수도 있겠네 /hj
"나는 원석으로 원석을 파괴했다"는 말을 요즘 너무 자주 하고 있다. 농담이 아니라 진심이다.
GLM 5.3 Flash도 비슷한 양자화(W4A16)에서 거의 같은 속도로 구동될 것이다. 320BA16B 모델이라 가중치를 170B로 잡으면 KV 캐시에 여유가 충분하다. 다만 파이프라인 모드에서는 단일 카드 속도로 제한되는데, 빠른 GPU 간 연결을 확보할 수 있다면 텐서 병렬이 훨씬 빠를 것이다.