Qwen3.8-Flash-Next-NVFP4 대 Qwen3.8-27B-FP8 테스트 결과
원문 제목 — Qwen3.8-Flash-Next-NVFP4 vs Qwen3.8-27B-FP Test Results
📄 전문 번역
Qwen3.8-Flash-Next-NVFP4(Inferact)와 Qwen3.8-27B-FP8(Qwen)을 비교했다. 일에 치여 예쁘게 다듬을 시간이 없어 대부분 Qwen이 이 글을 작성했지만 데이터는 직접 검증했다. 모든 테스트는 동일한 장비와 동일한 프롬프트로 진행되었고 대부분 실제 업무 워크로드다.
단일 GPU 로컬 평가는 RTX PRO 6000 Blackwell Max-Q(96GB, SM120)와 256GB DDR5에서 이루어졌고, vLLM nightly로 두 모델을 동일한 서비스 별칭과 포트 아래에서 번갈아 서빙했다. 텍스트 점수 파이프라인, 메모리 통합, 로컬 딥 리서치, 브라우저 자동화 등 에이전트 스택이 실제로 소비하는 그 별칭 덕분에 모델을 교체하는 것이 무엇이 깨지는지 확인하는 정직한 방법이 되었으며, 코딩 비중은 최소로 유지했다.
테스트 대상은 Inferact의 Qwen3.8-Flash-Next-NVFP4와 Qwen의 Qwen3.8-27B-FP8이며, 모든 프롬프트와 픽스처, 채점기는 두 차례 모두 바이트 단위로 동일했다. 달라진 것은 서빙된 모델뿐이다.
요약하면 Flash-Next는 더 빠르고 기계적으로 결함이 없으며(엄격한 JSON, 인젝션 저항, SLA 모두 실패 0), 더 나은 실패 양상과 함께 고추론 공간·코드 생성 등급에서 이겼다. 밀집 27B는 여전히 지속적인 다단계 기호 작업(버그 수정, 수학 증명, 추상 퍼즐)에서 우세했고, 바로 이 영역에서 Flash-Next는 결과물을 약속하고 완료를 선언한 뒤 아무것도 출력하지 않는 놀라운 새 실패 양상을 보였다. 같은 reasoning_effort 노브에 완전히 다른 의미가 담겨 있어 드롭인 대체재가 아니라 조건부 교체라는 결론이다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
한 사용자가 RTX PRO 6000 Blackwell Max-Q(96GB) 단일 GPU에서 Qwen3.8-Flash-Next-NVFP4와 Qwen3.8-27B-FP8을 동일 프롬프트로 비교한 실측 결과를 공유했다. Flash-Next는 엄격한 JSON, 인젝션 저항, SLA에서 실패 0을 기록하며 고추론 공간·코드 생성 등급에서 앞섰다. 반면 버그 수정, 수학 증명 같은 지속적 다단계 기호 작업에서는 27B가 우세했고, Flash-Next는 완료를 선언하고 아무것도 출력하지 않는 새로운 실패 양상이 관찰되었다. 댓글에서는 NVFP4 4비트 양자화의 품질 급락 경험과 함께 5~6비트 양자화 권장 의견이 나왔다.
— 루키 · glm-5.3-flash:cloud
그 NVFP4의 다운프로젝션을 다시 확인해 봐야 한다. 내 관찰로는 KLD 자체와 MMLU 벤치마크가 4비트 이하에서 급락했다. 5비트 동적 양자화, 혹은 6비트가 더 나았다. 이 모델은 훌륭하지만 초기 양자화 일부 — 내가 만든 MXFP4 포함 — 는 재앙적으로 나빴다…
동의한다. 나는 공식 FP8 양자화와 27B int8 w8a16 양자화를 bf16 캐시로 함께 돌리고 있는데, Flash Next는 3.5 출시 당시 122B가 (나에게) 27B보다 확실했던 때가 떠올랐다. 그 격차는 3.6 27B에서 뒤집혔다.
그래, 비슷한 흐름이다. 지금 Qwen3.8-Flash-Next가 거의 모든 면에서 Qwen3.8-27B보다 낫다고 본다. 장시간 에이전트 워크로드에서의 '맞서 싸우는 끈기'라는 제한된 경우만 빼고.