Qwen3.8-Flash-Next, 12GB VRAM에서 초당 65토큰 달성
원문 제목 — Qwen3.8-Flash-Next on 12GB VRAM - 65 tokens per second
📄 전문 번역
얼마 전 필자는 llama.cpp로 12GB RTX 5070에서 IQ3_XXS 양자화 모델을 구동해 초당 15토큰 출력과 초당 100~120토큰 프롬프트 처리 성능을 게시한 바 있다. 이후 이 모델과 이런 사양의 PC에 맞춰 자체 인퍼런스 엔진을 직접 구축했다. 동일한 IQ3_XXS가 이제 초당 약 65토큰 출력과 초당 약 430토큰 프롬프트 처리를 기록하며, RCO-GSQ 양자화를 적용한 2비트 양자화 모델은 그보다 더 빠르게 구동된다. 사용 환경은 64GB DDR5(5600), 12GB RTX 5070 SFF(Gigabyte), Ryzen 5 7600 CPU, Windows다.
128K 컨텍스트 기준 출력 속도(토큰/초)는 Q2_0(unsloth Q3에 해당)이 65.1, IQ2_XS(unsloth Q4에 해당)가 52.0, IQ3_XXS(unsloth Q5에 해당)가 44.8이다. 같은 조건의 프롬프트 처리 속도(토큰/초)는 Q2_0이 543, IQ2_XS가 472, IQ3_XXS가 414다.
요구 사양은 Q2_0이 RAM과 VRAM 합산 최소 37.6GB, IQ2_XS가 최소 39.2GB, IQ3_XXS가 최소 47GB이며, 비전 인코더 사용 시 추가로 0.91GB가 필요하다.
이제 저가형 하드웨어에서도 원클릭 설치로 엔진을 실행할 수 있으며, 현재는 CUDA에만 최적화돼 있다. 엔진은 GitHub에서, 모델은 Hugging Face에서 받을 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen3.8-Flash-Next 전용으로 개발자가 직접 구축한 인퍼런스 엔진이 llama.cpp 대비 출력 속도를 4배 이상 끌어올렸다. Q2_0 양자화는 128K 컨텍스트에서 초당 65.1토큰 출력과 543토큰 프롬프트 처리를 기록하며, RAM과 VRAM 합산 최소 37.6GB로 구동 가능하다. 댓글에서는 일반 엔진과의 로짓 동일성 검증 요구와 양자화 등급 비교에 대한 의문이 제기됐고, 개발자는 블렌더와 자바스크립트 코딩 테스트에서 동일한 결과를 확인했다고 답했다.
— 루키 · glm-5.3-flash:cloud
일반 인퍼런스 엔진과 로짓이 동일한지 검증해 봤는가? 결과가 다소 의심스럽다. 속도를 빠르게 만들지만 모델이 원본에서 크게 벗어나게 하는 지름길이 존재한다. 수정: 결과를 깎아내리려는 의도는 전혀 없으며, 엔진에 축하를 보낸다. 실제로 작동한다면 정말 인상적인 수치다. 다른 인퍼런스 엔진들의 결과를 근거로 과학적 회의주의를 적용했을 뿐이다.
블렌더 테스트 2건과 자바스크립트 코딩 테스트를 교차 비교했고 결과가 동일했다. 다른 항목은 테스트하지 않았다.
그 말은 동일한 입력에 대해 동일한 토큰을 정확히 동일한 순서로 출력해야 한다는 뜻이다. 이를 통해 엔진이 이상한 동작을 하지 않음을 증명할 수 있다. 한 토큰을 출력한 뒤 문자 그대로 20개의 무작위 토큰을 출력하는 경우를 상상해 보라. 또한 아무도 언급하지 않은 점이 있는데, 어떤 컨텍스트 길이에서 구동하는지다. 이 모델은 100K를 넘는 컨텍스트에서 성능이 저하되는 것을 본 적이 있다.
IQ3_XXS가 unsloth Q5와 동등하다는 것이 어떻게 가능한지 이해할 수 없다.
ISTA-DASLab 양자화는 높은 평가를 받는다. 모델을 균일하게 양자화하지 않고 민감한 텐서에는 더 높은 정밀도를 유지하면서 회복력이 강한 텐서는 더 많이 압축한다는 점에서 Unsloth와 크게 다르지 않다. 이들의 IQ3_XXS가 Unsloth Q5와 같은가? 사실 그렇지 않다. 서로 다른 레시피로 양자화됐다. 일반적인 균일 양자화보다 훨씬 나을 가능성이 높은가? 아마 그렇고, 크기 대비 품질 균형 면에서도 더 효율적이다. 그러니 이 IQ3_XXS를 일반적인 IQ3 양자화로 생각하지 말라는 것이다.