16GB VRAM에서 Qwen3.8 27B 변형 21종을 벤치마크했다
원문 제목 — I benchmarked 21 Qwen3.8 27B variants on 16GB VRAM
📄 전문 번역
Qwen3.8 27B가 출시된 후, 한 사용자가 자신의 GPU인 RTX 5080에 탑재 가능한 모델들을 실제 사용 중인 C 코드로 벤치마크했다. 결과는 완전히 예상 밖은 아니었지만 일부 양자화 모델은 확실히 기대에 못 미치는 모습을 보였다.
요약하면 전체 최고는 bartowski/Qwen3.8-27B-IQ4_XS, 검열 제거 버전 중 최고는 huihui-ai/Huihui-Qwen3.8-27B-abliterated-UD-IQ4_XS다. 참고로 더 많은 맥락을 원한다면 jpetrina/Qwen3.8-27B-IQ4_XS-pure, 검열 제거 대안으로는 Bucoid/Qwen3.8-27B-Uncensored-IQ4_XS_4BPW가 꼽혔다. 이하 결과는 Mean KLD 기준으로 정렬했다.
Mean KLD 기준 정렬 결과는 다음과 같다. sdkyuan/qwen38-27b-qat-q2_0이 0.893177±0.006948, Same top p 85.727±0.110%, 크기 8.2GiB, ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf가 0.767174±0.006291, 86.166±0.108%, 7.8GiB, ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ2_S가 0.512614±0.004909, 88.802±0.099%, 8.6GiB, empero-ai/Qwen3.8-27B-Ridge-3.7bpw가 0.475767±0.004483, 89.612±0.096%, 11.7GiB, ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ3_XXS가 0.379222±0.003992, 90.270±0.093%, 9.4GiB, unsloth/Qwen3.8-27B-UD-Q2_K_XL(UD2)이 0.350861±0.003745, 90.626±0.091%, 9.9GiB, unsloth/Qwen3.8-27B-UD-IQ3_XXS(UD2)가 0.268594±0.002971, 91.951±0.085%, 11.1GiB, DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-NEO-MTP-IQ3_M이 0.251270±0.002702, 92.315±0.083%, 13.5GiB, esatapedico/Qwen3.8-27B-NVFP4-MTP-LOW가 0.220796±0.002631, 92.339±0.083%, 14.5GiB, mudler/Qwen3.8-27B-APEX-I-Mini가 0.190209±0.002354, 93.012±0.080%, 13.0GiB, jrell/Qwen3.8-27B-i1-IQ4_XS-GGUF-Smaller가 0.194459±0.002242, 93.049±0.080%, 12.6GiB, orcarouter/Qwen3.8-27B-Uncensored-Q3_K_L이 0.192312±0.002294, 92.726±0.081%, 13.6GiB, unsloth/Qwen3.8-27B-UD-Q3_K_XL(UD2)이 0.147186±0.001809, 93.734±0.076%, 12.5GiB, unsloth/Qwen3.8-27B-UD-Q3_K_XL(UD3)이 0.142647±0.001860, 93.789±0.076%, 12.2GiB, Bucoid/Qwen3.8-27B-Uncensored-IQ4_XS_4BPW가 0.091447±0.001261, 94.774±0.070%, 13.0GiB, huihui-ai/Huihui-Qwen3.8-27B-abliterated-UD-IQ4_XS가 0.082871±0.001205, 94.981±0.068%, 13.4GiB, unsloth/Qwen3.8-27B-UD-IQ4_XS(UD3)가 0.075626±0.001097, 95.258±0.067%, 13.3GiB, jpetrina/Qwen3.8-27B-IQ4_XS-pure가 0.061984±0.000917, 95.551±0.065%, 13.5GiB, bartowski/Qwen3.8-27B-IQ4_XS가 0.056482±0.000856, 95.835±0.063%, 14.5GiB를 기록했으며, 16GB에 담기지 않은 unsloth/Qwen3.8-27B-UD-Q4_K_XL(UD3)은 0.029844±0.000476, 96.921±0.054%, 16.4GiB, unsloth/Qwen3.8-27B-UD-Q4_K_XL(UD2)은 0.028026±0.000432, 96.988±0.054%, 16.7GiB였다.
그래프는 u/Tall_Abrocoma_3533가 제작했다. 필자는 이 결과가 자신처럼 VRAM이 부족한 사용자들에게 도움이 되기를 바란다고 덧붙였다. 해당 글은 u/Storterald가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 5080 16GB VRAM 환경에서 Qwen3.8 27B 양자화 변형 21종을 실제 C 코드 기준으로 Mean KLD를 측정해 비교한 벤치마크다. bartowski IQ4_XS가 전체 1위, huihui-ai abliterated 모델이 검열 제거 버전 중 1위로 평가됐다. 상위권 4비트 양자화 대부분은 13~14.5GiB 크기로 16GB 보드에 장착 가능했으나 Q4_K_XL 계열은 16.4GiB 이상이라 담기지 않았다. 댓글에서는 KV 캐시 양자화와 컨텍스트 용량, 샘플 규모 같은 후속 정보가 요청됐다.
— 루키 · glm-5.3-flash:cloud
연구 지원 차원에서 댓글을 남긴다. VRAM 서민들이 당신의 작업에 감사를 전한다. (KV 양자화 방식, 얼마나 많은 컨텍스트를 담을 수 있는지, 각 모델별로 샘플로 삼은 프롬프트나 토큰 수를 알 수 있으면 좋겠다)
감사하다! 여기 없는 테스트하고 싶은 모델을 찾았다면 직접 하는 것도 그리 어렵지 않지만 엄청난 디스크 공간이 필요하다. 약 1MB의 벤치마크 데이터가 약 50GB의 로짓을 만든다는 점을 감안하라. 기본적으로 높은 양자화 모델로 llama-perplexity에 --save-all-logits <경로> 옵션을 쓴 뒤, 더 작은 모델로 --kl-divergence --kl-divergence-base <경로> 옵션을 사용하면 된다. 수정: KV 부분을 빠뜨렸는데, Huihui 모델을 약 100k 컨텍스트에 ctk q5_1, ctv q4_0으로 사용한다. xhigh 추론을 유지하면 사실 그리 높지 않은데, --reasoning-budget를 적절히 유지하면 완전한 프롬프트 3개 정도다.
그렇다. 직접 하고 싶지만 460sd 하나를 다른 용도로도 써야 하고 인터넷 연결 상태도 형편없어서 다른 사람의 벤치마크에 의지해 살아야 한다. 다시 한번, 할 수 없는 우리를 위해 벤치마크를 만들어줘서 고맙다
간단히 시각화한 자료를 남긴다. 당신의 작업에 감사한다!
그래프 고맙다! 게시물에 이것을 넣어도 될까? (출처를 표기하겠다)