ISTA-DASLab이 GSQ와 RCO로 양자화한 DeepSeek-V4.1-Flash-1017을 웨이트당 1.75~2.25비트로 공개했다. DeepSeek-V4.1-Flash-1017은 희소 mixture-of-experts 모델로, 레이어당 라우티드 전문가 384개 중 토큰당 6개가 활성화되며 763.2B 파라미터와 100만 토큰 컨텍스트 윈도우를 갖는다. 원본 모델은 FP8 덴스 웨이트와 FP4 라우티드 전문가로 공개되어 있다.

구성은 다음과 같다. 양자화 GGUF 세 종류로 IQ1_M(1.75 bpw), IQ2_XXS(2.00 bpw), IQ2_XS(2.25 bpw)이며 백본 크기는 120.7~155.2GB다. 비트 폭은 탐색이 제어하는 대상인 551.9B 백본 파라미터 전체의 평균값이다. 여기에 공유 Engram 파일 하나(110.6GB)가 더해지는데, 모델의 두 Engram 룩업 테이블(196.6B 파라미터)을 IQ4_NL로 담은 것으로 모든 빌드에서 동일해 한 번만 다운로드하면 된다. 테이블은 토큰마다 한 행씩 읽히므로 디스크에 메모리 매핑된 채로 둘 수 있다. 모든 빌드는 Strata(모델 카드 참조)로 12GB GPU 한 장에서 구동된다.

GSQ(Gumbel-Softmax Quantization)는 그리드 할당과 그룹 스케일을 동시에 학습하는 학습 후 스칼라 양자화로, 낮은 비트 폭에서 스칼라 양자화와 벡터 양자화 사이 격차의 대부분을 메우면서 표준 GGUF 타입으로 배포 가능성을 유지한다. RCO(Riemannian Constrained Optimization)는 제약별 튜닝 없이 태스크 손실에 대한 경사 하강으로 정확한 예산을 강제하며, 이번 배포에서는 목표 비트 폭 아래에서 모든 백본 텐서에 양자화 타입을 할당하고 덴스 경로(Q5_K~Q8_0)와 라우티드 전문가(IQ1_S~IQ3_S)에 별도의 래더를 사용한다. DeepSeek의 프롬프트 인코더를 추론 강도(1~100, 또는 low/high/max)까지 정확히 재현하는 채팅 템플릿이 내장되어 있다.

결과적으로 2.00 bpw에서 이 모델은 평가된 모든 벤치마크에서 베이스 모델과 동급이며, 모든 수치는 추론 강도 50에서 측정했다. IQ1_M(1.75 bpw, 120.7GB 백본)은 AIME25 100.00, GPQA-Diamond 88.38(베이스 90.91), LiveCodeBench v6 88.57(베이스 89.71)로 태스크 평균 92.32, 베이스의 98.7%를 유지했다. IQ2_XXS(2.00 bpw, 138.2GB 백본)는 AIME25 100.00, GPQA-Diamond 90.91, LiveCodeBench v6 89.71로 베이스와 동일하며 태스크 평균 93.54로 베이스의 100.0%다. IQ2_XS(2.25 bpw, 155.2GB 백본)의 결과는 추후 공개된다.

구동 환경으로 llama.cpp는 아직 DeepSeek-V4.1을 지원하지 않아 당분간 GGUF는 llama.cpp에서 실행되지 않으며, Strata에서는 12GB VRAM의 NVIDIA GPU 한 장으로 모든 빌드를 서빙하고 원클릭 설치 프로그램과 localhost의 OpenAI 호환 엔드포인트를 제공한다. 양자화 모델은 Hugging Face의 ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF에서 받을 수 있고, GSQ 논문과 코드는 arXiv 2604.18556과 GitHub IST-DASLab/GSQ에, RCO 논문과 코드는 arXiv 2605.00649와 GitHub IST-DASLab/RCO에 공개되어 있다. 저장소에는 모든 빌드의 텐서별 RCO 할당(각 1008개 텐서) 전체가 담겨 있으며, 피드백과 양자화 대상 모델 요청을 환영한다. ISTA Deep Algorithms and Systems Lab 제공.