Unsloth가 DeepSeek-V4.1-1017 Dynamic V3.1(프리뷰) GGUF를 새로 공개했다. 이번 릴리스는 7개 벤치마크에서 Unsloth의 GGUF가 동일 크기 대비 가장 높은 정확도를 유지함을 보여준다. ISTA의 GSQ-RCO GGUF를 벤치마크했지만 최고 점수를 사용했음에도 해당 측의 보고 결과를 재현하지 못했다. 가장 큰 차이는 AIME25에서 나타났는데, 상대측은 베이스라인 대비 100% 정확도 회복을 주장했으나 실제 벤치마크에서는 약 91.88%에 그쳤다. AIME25, LiveCodeBench, GPQA Diamond, Aider Polyglot 등 전반에서 Unsloth Dynamic V3.1이 거의 모든 지표에서 GSQ-RCO GGUF를 앞섰으며, 기존 v3조차 거의 모든 지표에서 ISTA보다 우수했다. 공정하고 신뢰할 수 있는 비교를 위해 각 벤치마크를 최소 3회(AIME25는 16회) 실행해 결과를 평균냈다. 추가 결과는 다음 주에 공개되며 모든 벤치마크 데이터, 방법론, 결과는 블로그에서 확인할 수 있다.

별도로 KLD가 정확도의 신뢰할 만한 척도인지에 대한 질문이 있었다. 양자화의 주된 목표는 KLD를 최소화하면서 디스크 공간도 줄이는 것이다. KLD가 0이면 로짓이 완벽하게 모델링된 것이므로 양자화 모델이 16비트 모델과 동일함을 의미한다. 벤치마크 결과 코딩, 에이전틱 코딩, 채팅 등 여러 도메인에서 KLD와 상위 1% 모두 UDv3.1이 모든 도메인에서 GSQ-RCO보다 훨씬 우수했다. 저비트 양자화는 비양자화 모델보다 다소 길게 추론하는 경향이 있으며 이를 조사해 양자화를 더 개선할 계획이다. 그럼에도 추론 길이에서도 GSQ-RCO보다 크게 앞서 있으며 잘린 답변에 대한 그래프를 블로그에 제공한다. 이 모델은 128GB RAM 또는 유니파이드 메모리 기기에서 구동 가능하며 engram 오프로딩을 사용하면 64GB RAM에서도 실행할 수 있다.

GGUF는 허깅페이스에서 공개되었으며 전체 세부 사항과 추가 벤치마크는 블로그에 실렸다. 또한 Unsloth Desktop에는 Browser Use, 자동 컴팩션, 음성 복제와 분리 등을 포함한 완전히 새로운 TTS 파이프라인, 샌드박싱, 배경 커스터마이징 등 다양한 신규 기능이 도입되었다. 글쓴이는 할로윈 인사와 함께 블로그에서 더 자세한 그래프와 데이터로 설명되는 수치 표도 공유했다.

공개된 표에 따르면 UD-Q8_K_XL(508.4GB)은 6개 벤치마크 평균 87.68점을 기록했고 UD-Q2_K_XL(334.8GB)은 87.49점, UD-IQ2_XXS(300.5GB)는 86.63점, UD-IQ1_M(250.4GB)은 85.55점, UD-IQ1_S(233.0GB)는 83.53점을 기록했다. 같은 크기대의 GSQ-RCO IQ2_XS(265.8GB)는 85.64점, GSQ-RCO IQ2_XXS(248.8GB)는 83.68점, GSQ-RCO IQ1_M(231.3GB)은 81.78점으로 대응되는 Unsloth 양자화보다 낮았다. Aider pass@1에서는 UD-IQ2_XXS가 44.38%, UD-IQ1_M이 42.13%, UD-IQ1_S가 36.52%를 기록한 반면 GSQ-RCO IQ2_XS는 41.57%, GSQ-RCO IQ1_M은 29.78%에 그쳤다.