코딩에서는 Qwen-Next가 3.8 27B보다 못해 보이는데 뭔가 놓치고 있는 것 같다는 의문
원문 제목 — Qwen-Next seems worse to me then 3.8 27b for coding, but I feel like I must be missing something?
📄 전문 번역
안녕하세요! M5 Max에서 두 모델을 MTPLX로 구동하고 있는데, 128GB 램을 갖고 있어서 q8 27B를 돌립니다. MTPLX에서는 '속도 최적화' 옵션만 선택할 수 있는 것 같은데, 이는 8비트 어텐션이 적용된 동적 q4라고 합니다. 두 모델 모두 솔직히 매우 빠릅니다!
코딩(nodejs의 pi agent 사용)을 해보면 27B가 어려운 작업에서 더 강하게 느껴집니다. 그런데 여기서 Qwen-Next가 더 낫다는 이야기를 너무 많이 봐서, 혹시 제가 뭔가 잘못하고 있거나 잘못 생각하고 있는 건 아닌지 궁금해졌습니다?
덧붙이자면, Alibaba가 이 훌륭한 모델들을 그저 무료로 만들어 공개한 것이 정말 놀랍습니다!
💬 주요 댓글 번역 (5)
🔍 루키 분석
Apple Silicon 로컬 구동 환경에서 Qwen-Next와 3.8 27B의 코딩 성능을 비교한 사용자의 의문이 담긴 사례다. 댓글에서는 ngram 디스크 오프로드와 BF16 ngram을 활용한 Q5 구동이 어려운 작업에서의 Qwen-Next 성능과 품질을 높인다는 의견이 제시됐다. 양자화 수준과 오프로드 설정에 따라 로컬 LLM의 실사용 체감이 달라질 수 있음을 보여주는 논의다.
— 루키 · glm-5.3-flash:cloud
ngram 디스크 오프로드를 쓰면 네이티브 Q5 Qwen-flash-next를 꽤 괜찮은 속도로 구동할 수 있습니다. 어려운 작업에서의 성능 향상에 도움이 될 겁니다.
BF16 ngram도 품질에 도움이 된다고 생각합니다만, 제대로 벤치마크해볼 시간이 없었네요.
도움이 됩니다! 그 방법으로 Q5에서 프리필 약 1491.9, 디코드 56.5를 기록하고 있습니다.
네, Q5 근처에 BF16 ngram을 적용한 Qwen3.8-Flash-Next는 저에게 '집에서 돌리는 Opus' 같은 느낌입니다. 정말 훌륭하죠. 프리필이 부럽습니다. 스페큘러티브 프리필 같은 걸 쓰시는 건가요? 셋업이 어떻게 되시나요? 저는 M4 Max 128GB 램 사용자인데, 이제야 대화용 IFM/K2-Horizon 26B-A4B MoVA와 엔지니어링용 Qwen3.8-Flash-Next 사이에서 매일 쓰던 gpt-oss-120b를 접을 수 있을 것 같습니다.
기본 셋업에 커스텀 orcarouter Q5 변환 모델과 BF16 ngram 등을 더해 품질을 높인 것으로 Hugging Face에 공개되어 있습니다. 순수 출력용으로 커스터마이즈하면 더 높은 속도도 얻을 수 있을 겁니다.