[릴리스] Qwen3.8-Flash-Next용 GSQ-RCO GGUF 공개, 전문가 50% 프루닝 Coder 빌드는 약 1.89 bpw
원문 제목 — [Release] GSQ-RCO GGUFs for Qwen3.8-Flash-Next, plus a 50% expert-pruned Coder build at ~1.89 bpw
📄 전문 번역
ISTA DASLab이 Qwen3.8-Flash-Next를 GSQ와 RCO로 양자화해 공개했으며, 모델의 전문가 절반을 제거한 기능 특화형 두 번째 빌드도 함께 내놓았다. Flash-Next는 스파스 혼합 전문가(MoE) 모델로 48개 레이어에 걸쳐 레이어당 512개의 라우팅 전문가를 두고 있으며, 파라미터는 176.9B에 BF16 기준 354GB다. 이번 릴리스에는 2.40~3.50 bpw(66.4~83.6GB)의 양자화 GGUF 4종과 BF16 비전 프로젝터가 포함됐다.
전문가 프루닝 Coder GGUF는 총 58.4GB이며 이 가운데 29.6GB는 상주가 필수다. GSQ(Gumbel-Softmax Quantization)는 그리드 할당과 그룹 스케일을 동시에 학습하는 학습 후 스칼라 양자화 기법으로, 낮은 비트폭에서 스칼라 양자화와 벡터 양자화 사이 격차의 대부분을 메우면서 표준 GGUF 타입으로 배포 가능한 상태를 유지한다. RCO(Riemannian Constrained Optimization)는 제약별 튜닝 없이 태스크 손실에 대한 경사 하강으로 정확한 예산을 강제한다. 이번 릴리스에서 RCO는 모든 텐서에 양자화 타입을 지정하는 역할과, Coder 빌드에서 유지할 전문가를 선택하면서 레이어별 하나씩 여러 정확한 예산을 동시에 강제하는 역할, 두 가지를 맡는다.
결과적으로 3.50 bpw에서 모델은 평가된 모든 벤치마크에서 BF16 베이스와 대등했다. IQ3_S(3.50 bpw, 83.6GB)는 AIME25 100.00, GPQA-Diamond 92.93(BF16은 91.92), LiveCodeBench v6 86.86(BF16은 87.43)을 기록했고 태스크 평균은 93.26 대 93.12였다. IQ3_XXS(3.00 bpw, 75.8GB)는 AIME25 100.00, GPQA-Diamond 91.41, LiveCodeBench v6 86.29를 기록했다. Q2_0(2.40 bpw, 66.4GB)은 제로샷 평균 78.00으로 BF16의 76.94를 넘어섰으며 크기는 약 5분의 1 수준이다.
Coder(기능 프루닝 모델)는 모든 파라미터를 낮은 정밀도로 저장하는 대신 라우팅 전문가의 절반, 즉 레이어당 512개 중 256개를 제거했으며, 프루닝하지 않은 모델과의 KL 발산을 최적화하는 RCO가 이를 선택했다. 유지된 가중치는 3.5 bpw를 유지한다. 프루닝과 양자화가 중첩되면 원본 트랜스포머 기준 평균 파라미터당 1.89비트의 효과가 나타나는데, 이 평균 비트폭은 제거된 전문가를 원본 파라미터 수에 상각한 값으로 프루닝과 양자화의 결합 효과를 표현할 뿐 개별 가중치가 1.89비트로 저장되는 것은 아니다. 그 결과 176.9B 파라미터 모델의 상주 워킹셋은 29.6GB인데, n-그램 샤드는 룩업 테이블이라 디스크에서 서빙할 수 있기 때문이며 이는 32GB 가속기 한 장의 용량 안에 들어간다. SWE-bench Verified는 75.60으로 BF16의 82.80 대비 91.3%를 유지했고, LiveCodeBench v6은 86.28로 87.43 대비 98.7%를 유지했으며 두 수치 모두 xhigh 추론 강도에서 측정됐다.
양자화 모델은 Hugging Face의 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF에서, Coder(전문가 프루닝) 빌드는 ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF에서 받을 수 있으며 GSQ와 RCO는 각각 논문과 코드가 공개됐다. 두 저장소 모두 텐서별 전체 RCO 할당을 함께 제공한다. Coder 빌드는 실험적 릴리스로 특히 보정 믹스처에 포함되지 않은 기능에 대한 피드백을 환영하며, 양자화나 프루닝할 모델 요청도 받는다. 이번 릴리스는 ISTA Deep Algorithms and Systems Lab이 내놓았다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
ISTA DASLab이 176.9B 파라미터 스파스 MoE 모델 Qwen3.8-Flash-Next를 GSQ와 RCO로 양자화한 GGUF 4종(2.40~3.50 bpw)과 라우팅 전문가 절반을 제거한 Coder 빌드를 공개했다. 3.50 bpw IQ3_S는 평가된 모든 벤치마크에서 BF16과 대등했고, Coder 빌드는 평균 1.89 bpw로 32GB 가속기에 들어가는 29.6GB 상주 워킹셋을 구현했다. 다만 Coder 빌드는 SWE-bench Verified에서 BF16 대비 91.3%에 그쳤으며, 댓글에서는 보정 데이터에 없는 Delphi 지식이 크게 저하됐다는 사용자 보고가 있었고 개발팀은 이를 전문가 프루닝의 트레이드오프로 인정했다.
— 루키 · glm-5.3-flash:cloud
직접 써봤지만 나에게는 쓸 수 없는 수준이었다. 주로 Delphi로 코딩하고 C++과 어셈블리도 조금 다루는데, 이 모델은 Delphi의 간단한 StringReplace나 TRegex조차 못 했다. 이런 함수에 대한 지식이 아예 없는 것처럼 존재하지 않는 문법을 많이 지어냈다. Qwen3.8-27B-GSQ-RCO-IQ3_S나 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S 같은 다른 양자화 모델은 이런 문제가 전혀 없었고, Gemma 4 12B조차 같은 문제를 완벽하게 해결했다.
테스트하고 경험을 공유해줘서 고맙다! 안타깝게도 이것이 전문가 프루닝의 트레이드오프 중 하나다. 보정 데이터에서 충분히 대표되지 않은 특정 기능은 크게 저하되거나 아예 사라질 수 있다. 향후 릴리스에서 서로 다른 프로그래밍 언어에 걸친 지식을 더 잘 보존하도록 개선하겠다.
작업해줘서 고맙다. 나 같은 GPU 가난한 사람들에게 정말 큰 도움이 된다.
프로그래밍 언어별로 다른 파인튜닝을 두는 게 의미가 있을까? COBAL과 Rexx로 다시 프로그래밍하고 싶지만, 내가 흔치 않은 케이스라는 건 안다....
그 모델들의 q4 양자화와 이 양자화들을 비교해봤나? 실사용에서 어떤 성능이 나오는지 궁금하다.