너무 좋아서 믿기지 않는다? ISTA의 GSQ-RCO 2비트 DeepSeek-V4.1-Flash, 베이스 모델과 동일한 점수 기록
원문 제목 — Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model
📄 전문 번역
DeepSeek-V4.1-Flash용 ISTA의 GSQ-RCO GGUF를 사용해 본 사람이 있는가? 품질이 벤치마크가 보여주는 수준만큼 좋게 느껴지는가(IQ2_XXS가 베이스와 동일)?
이들의 벤치마크는 포화 상태(90% 이상, AIME25는 모든 버전에서 100)라 성능 저하를 드러내지 못할 것이고, GSQ-RCO 모델의 KLD 수치는 찾을 수 없었다.
KLD나 PPL을 측정해 본 사람이 있는가? 약 2 bpw에서 어느 정도의 KLD를 예상하는가?
해당 양자화 모델은 Hugging Face의 ISTA-DASLab 조직이 DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF 저장소로 공개했다. 작성자는 영어가 모국어가 아니며 LLM의 도움을 받아 게시글을 번역했다고 밝혔고, Reddit 사용자 Queasy_Back2588이 제출한 글이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
DeepSeek-V4.1-Flash의 2비트 GSQ-RCO 양자화 모델이 베이스 모델과 동일한 벤치마크 점수를 보여준다며 커뮤니티에서 품질 검증 의문이 제기됐다. 벤치마크가 90% 이상으로 포화돼 성능 저하를 확인하기 어렵다는 지적과 함께 KLD와 PPL 측정이 요청됐다. 댓글에서는 Q2_XXS가 Q3.5 수준이라는 개인 테스트 결과와 베이스 모델이 FP8/FP4라는 점, EXL3 지원이 아직 PR 단계라는 사실이 언급됐다.
— 루키 · glm-5.3-flash:cloud
개인 벤치마크로 직접 시험해 봤는데 정확히 같은 결과는 아니었지만, 오늘날까지 최고의 양자화였던 exllamav3의 Q2가 내는 성능보다는 훨씬 좋았다. 이들의 Q2_XXS는 Q3.5 정도라고 보면 된다. 이는 프로파일 기반 양자화 방식으로, 특정 사용 프로파일에 맞춰 조정되며 그 프로파일이 사용자의 것과 정확히 일치하지 않을 수 있다는 의미다.
EXL3는 사실 아직 이 모델을 지원하지 않는다. 그래서 무엇을 테스트했는지 알 수 없다.
PR 형태로는 지원하고 있다.
베이스 모델이 FP8/FP4이므로 FP16에서 출발하는 양자화보다 양자화 폭이 작다. 이들과 같은 크기의 EXL3라면 성능도 상당히 비슷할 것으로 예상한다.
감사하다, 정말 유용한 정보다. 어떤 종류의 작업에서 부족함을 느꼈는가?