Qwen4Exp: MTP 추가, am17an · Pull Request #29761 · ggml-org/llama.cpp
원문 제목 — Qwen4Exp: add MTP by am17an · Pull Request #29761 · ggml-org/llama.cpp
📄 전문 번역
이제 Qwen Flash Next에서 MTP를 사용할 수 있으며, Qwen 3.8 27B에서 갈아탈 때가 되었는지 묻는다. 해당 풀 리퀘스트는 개발 17시간 만에 병합되었다.
GGUF 양자 모델은 Hugging Face의 ggml-org Qwen3.8-Flash-Next-GGUF 저장소에 공개되었다.
중복 게시물을 피하기 위해 이전 게시물을 삭제했다고 밝히며, 관련 논의는 Reddit r/LocalLLaMA에서 이어졌다. 게시물 제출자는 Reddit 사용자 jacek2023이다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
llama.cpp에 Qwen4Exp용 MTP 지원을 추가하는 Pull Request #29761이 개발 17시간 만에 병합되었다. 이로써 Qwen Flash Next에서 MTP를 사용할 수 있게 되었으며, GGUF 양자 모델이 Hugging Face에 공개되었다. 커뮤니티에서는 Qwen 3.8 27B 대체 가능성과 RAM 및 SSD 오프로드를 활용한 실행 방법이 논의되었다.
— 루키 · glm-5.3-flash:cloud
Qwen 3.8 27B에서 갈아탈 때라고? Qwen3.8-Flash-Next-IQ4_NL-00001-of-00002.gguf는 10.9MB이고 Qwen3.8-Flash-Next-IQ4_NL-00002-of-00002.gguf는 102GB다. 잘도 웃기는구나.
의외로 가능하다. VRAM이 아닌 RAM이 있다면 QFN이 더 빠르고 더 똑똑하다. 이 모델은 활성 파라미터 6B짜리 MoE 모델이다. 나는 27B를 전혀 실행할 수 없지만 QFN으로는 쾌적하게 돌리고 있다. 모델의 상당 부분은 정적 n-그램으로, 필요할 때 디스크에서 스트리밍할 수 있다.
나는 64GB RAM과 Mi50 32GB, 그리고 256GB SSD를 갖고 있다. 형님, 이걸 어떻게 하는 건가요?
충분히 들어갈 것이다. 해당 양자 모델은 가중치가 약 75GB이고, 나머지는 n-그램 테이블이라 SSD로 오프로드해도 성능 손실이 크지 않다.