Qwen 3.8 27B vs Qwen Flash Next, 당신의 선택은?
원문 제목 — Are you running Qwen 3.8 27b or Qwen Flash Next?
📄 전문 번역
하드웨어를 갖춘 사용자들이 어느 쪽을 선호하는지 궁금하다. 필자는 M3 Max 96GB를 사용하는데 두 모델 모두 구동되며 대체로 동일하게 느껴지지만, Qwen 27B의 프리필(prefill)이 더 빠르다. MLX에서 프롬프트 처리(pp)를 개선하기 위해 작업 중인 프로젝트나 개발자가 있는지도 궁금하다.
별개의 질문으로, 추론(reasoning) 없이 작동하는 하네스를 개발 중인 이가 있는지 궁금하다. JetBrains가 블로그를 통해 추론을 완전히 끈 상태로 Qwen 3.6을 사용하고 있다고 공유한 이후 이 주제에 관심을 갖게 되었다. 추론을 켠 하나의 모델이 전체를 오케스트레이션하고 추론 없는 서브에이전트가 작업을 맡는 구조에는 분명 세련된 무언가가 있을 것 같다는 생각이 든다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 커뮤니티에서 Qwen 3.8 27B와 Qwen Flash Next 중 어느 쪽을 실행할지 하드웨어별 실사용 경험이 오가고 있다. M3 Max 96GB 사용자는 두 모델의 체감이 비슷하나 27B의 프리필이 더 빠르다고 평가하는 반면, RTX 6000 환경에서는 Flash Next 전용 최적화 빌드가 초당 140토큰으로 더 나은 성능을 낸다는 보고도 있다. JetBrains가 추론을 끈 채 Qwen 3.6을 활용한다고 밝힌 것을 계기로, 추론 없이 작동하는 하네스와 오케스트레이터-서브에이전트 구조에 대한 관심도 함께 제기되었다.
— 루키 · glm-5.3-flash:cloud
다시 3.8 27B로 돌아갔다. VRAM이 96GB라 Q4/Q5보다 큰 양자화의 Flash는 돌릴 수 없는데, Q8 3.8 27B보다 더 멍청해 보이고 속도도 느리다.
96GB가 RTX 6000이라면 이 GitHub 프로젝트로 좋은 결과를 얻을 수 있다. 실제로 만족스럽게 사용 중이며, 프리필 10k와 초당 140토큰 생성 속도를 기록해 27B보다 훨씬 빠르다.
NVIDIA의 nvfp4가 더 나을 것이다.
누군가 27B에서 초당 200토큰을 뽑아낸 것으로 알고 있는데, 아마 5090과 양자화 모델 조합이었을 것 같다. RTX 6000으로 멀티 에이전트 구성 시 어느 정도 처리량이 나올지 궁금하다.
Ninfer 프로젝트는 5090에서 Qwen을 위해 전용으로 만들어진 엔진으로, 바로 그 속도를 구현한다.