bartowski/Qwen3.8-27B-GGUF · Hugging Face - 업데이트됨 (Per-tensor 레이아웃)
원문 제목 — bartowski/Qwen3.8-27B-GGUF · Hugging Face - Updated (Per-tensor layout)
📄 전문 번역
블로그 글: GGUF 양자화를 위한 Per-tensor 레이아웃 맵이 공개되었다. 레딧 스레드: bartowski의 GGUF 업로드를 위한 새로운 텐서 타입 레이아웃이 논의되고 있다.
편집: 모델 카드에 그래프, 표, 텍스트 등이 업데이트되었다. /u/pmttyji가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
bartowski의 Qwen3.8-27B GGUF 모델 카드가 Per-tensor 레이아웃 방식의 양자화 내용으로 업데이트되었으며, 관련 블로그 글과 레딧 스레드가 함께 공유되었다. 댓글에서는 Unsloth 방식과의 비교, KL 발산 테스트 방식에 대한 의문, ISTA-DASLab의 GSQ-RCO 양자화 및 Ornith 1.5 35B와의 성능 우열이 논의되었다.
— 루키 · glm-5.3-flash:cloud
흥미롭다. 이 작업이 Unsloth가 하는 방식과 비교하면 어떠한지 궁금하다.
이 KL 발산이 어떻게 테스트되는지에 대해서는 의문이 든다. 테스트 프롬프트 세트는 보통 100개 정도의 정해진 질문으로 구성되어 있어 오해를 불러일 수 있다.
최근 사용해 온 ISTA-DASLab의 Qwen3.8-27B-GSQ-RCO-GGUF 양자화와 비교하면 어떨지 궁금하다.
자랑처럼 들릴 수 있지만, 내 벤치 결과에 따르면 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ3_S는 MTP 헤드가 빠져 있는 점(1GiB 미만에 불과)을 감안하더라도 여전히 동일 크기 중 단연 최고의 모델이다.
내 테스트 기준으로는 이 모델이 Ornith 1.5 35B Q4_K_M에 뒤처진다. 테스트 플랫폼을 아직 완전히 신뢰하지는 못하지만, 그것이 초기 결과였다.