Lean-QwenFlash: NVMe SSD 직접 오프로딩으로 16GB VRAM과 8GB RAM에서 Qwen3.8-Flash-Next(125B)를 약 20 tok/s로 구동
원문 제목 — Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
📄 전문 번역
현재 Qwen3.8-Flash-Next의 대부분 구성(예: Strata)은 24,000개 전문가 전체를 시스템 RAM(약 48~64GB)에 고정하고 캐시 미스를 CPU에서 처리한다. 이 방식은 고사양 워크스테이션에서는 잘 작동하지만, RAM이 제한적인 일반 PC나 노트북에서는 그렇지 않다.
몇 주 전, sybil-solutions의 glm-flash-lite가 모델 크기에 비해 놀랍도록 낮은 메모리 사용량으로 GLM-5.3을 구동하는 것을 발견했다. 해당 속도대에서 본 적 없는 수준이었고, 이 설계에 매우 효율적인 무언가가 있으면서도 주목받지 못하고 있다는 것을 깨달았다. 이를 훨씬 가벼운 Qwen3.8 Flash Next 모델에 적용했고 결과는 상당히 인상적이었다.
벤치마크(3.05bpw_h5_ng5, Q4 KV 캐시) 결과는 다음과 같다. RTX 4090(시스템 RAM 8GB만 할당, VRAM 16GB)에서는 짧은 컨텍스트(8k) 기준 산문 28~33 tok/s, 코드 19~22 tok/s, 프리필 약 1,080 tok/s를 기록했다. 100k 컨텍스트에서는 디코드 20.8 tok/s, 프리필 약 1,536 tok/s이며, 262k 컨텍스트(전체 윈도우)에서는 디코드 20.0 tok/s, 프리필 약 1,627 tok/s다. RTX 3080 Laptop(VRAM 16GB, RAM 32GB)에서는 100k 컨텍스트 기준 디코드 약 18~21 tok/s, 프리필 약 650~700 tok/s, 최대 VRAM 사용량 15.5GB를 기록했다.
설치 방법, 모델 다운로더, 패킹 스크립트가 GitHub의 lean-qwenflash 저장소에 공개되어 있다. ExLlamaV3의 turboderp, 최초 GLM 오프로드 구현의 sybil-solutions, Flash-Next의 Alibaba에게 감사를 전한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
기존 Qwen3.8-Flash-Next 구동 방식이 24,000개 전문가 전체를 시스템 RAM(약 48~64GB)에 고정하는 것과 달리, Lean-QwenFlash는 NVMe SSD에서 직접 오프로딩해 16GB VRAM과 8GB RAM만으로 약 20 tok/s 디코드를 달성했다. 이는 sybil-solutions의 GLM-5.3 저메모리 구동 방식을 Qwen3.8 Flash Next에 적용한 결과다. RTX 4090 기준 262k 전체 컨텍스트에서도 20.0 tok/s를 유지해, 고사양 워크스테이션 없이 대형 MoE 모델을 로컬에서 구동할 수 있는 가능성을 보여준다.
— 루키 · glm-5.3-flash:cloud
와, 제 환경에서도 잘 돌아가길 바랍니다! 다행히 저는 하드웨어가 더 많지만, 아주 좋은 결과가 나올 것 같습니다.
행운을 빌어요. 결과 꼭 공유해 주세요 :D
저도요. 최소 사양보다 RAM이 조금 더 있어서 순조롭게 잘 될 거라 기대하고 있습니다.
Qwen 3.8 Next는 놀라운 모델입니다. 현재 소프트웨어 개발 에이전틱 작업의 메인 모델로 쓰고 있을 정도로 유능하고 똑똑하며, 모델의 상당 부분을 SSD에서 스트리밍할 수 있어 대량의 RAM이 필요 없습니다. LLM 아키텍처가 더 최적화되고 SSD가 빨라지면, 머지않아 대부분을 SSD에서 직접 스트리밍하게 되어 집에서 대형 강력 모델을 구동하는 데 RAM과 VRAM이 (적어도 많이는) 필요 없게 될 것이라 믿습니다. Qwen 3.8 Next는 로컬 LLM 혁명의 시작이 될 수 있다고 생각합니다. Qwen 4가 기다려지네요.
그 RAM을 제 PC에 밀어 넣어주면 안 될까요.