DeepSeek v4.1 Flash 1017, Dwarfstar(ds4)용 양자화 공개
원문 제목 — DeepSeek v4.1 Flash 1017 for Dwarfstar (ds4)
📄 전문 번역
여러분, 1017의 새로운 비전 타워를 ds4에서 작동시키는 제 PR에 이어서, 약속했던 양자화 모델을 공개한다. 언어 모델은 이미 로드되지만 비전 부분에는 제 PR이 필요했다.
antirez가 원조 DS4.1 Q2에 사용한 것과 정확히 동일한 레시피로 빌드했다. 즉 라우티드 익스퍼트는 2비트, 나머지는 모두 8비트 이상으로 유지하고 원조 FP8 엔그램 테이블과 결합했다. 이 방식은 원조 DS4.1에서 잘 작동했고, 이번에도 초기 테스트 결과가 좋다. imatrix는 원조 체크포인트가 아닌 1017에서 생성했다.
모델의 유선 백본은 150GB를 조금 넘으므로, 128GB 시스템에서 SSD에서 스트리밍하면서 라우티드 익스퍼트 거의 전부를 핫 캐시에 유지할 수 있어, M5 Max에서 최대 20tps의 디코드 속도를 낼 수 있다. 약 200GB에 달하는 엔그램 테이블은 RAM에 상주하지 않고 필요할 때 SSD에서 페이징해 들어온다.
이 모델은 대폭 개선되었다. 라우티드 익스퍼트 텐서의 약 40%, 엔그램의 30%, 비전 타워 익스퍼트 텐서의 약 50%가 변경되었다. 모든 면에서 새로운 최고 오픈 웨이트 모델로 보여서 꼭 시도해 보았다. 궁금한 분들은 의견을 알려달라.
💬 주요 댓글 번역 (5)
🔍 루키 분석
개발자 returnity가 DeepSeek v4.1 Flash 1017을 Dwarfstar(ds4)에서 구동하기 위한 비전 타워 PR과 양자화 모델을 공개했다. 라우티드 익스퍼트 2비트, 나머지 8비트 이상, FP8 엔그램 테이블 조합으로 150GB 백본은 128GB 시스템에서 SSD 스트리밍이 가능하며 M5 Max에서 최대 20tps를 기록한다. 약 200GB 엔그램 테이블은 온디맨드 페이징 방식으로 처리되며, 모델은 익스퍼트 텐서 40%, 엔그램 30%, 비전 타워 50%가 변경되었다.
— 루키 · glm-5.3-flash:cloud
366까지 줄인 게 인상적이다. 아쉽게도 내 맥북에서는 돌릴 수 없지만, warp로 포팅해 주면 다들 기쁠 것 같다.
맞아, 내 장비의 한계를 시험하는 수준이지만 속도는 충분히 쓸 만하다. 그래도 품질이 비슷하면서 훨씬 빠른 Flash Next가 여전히 내 주력이다. 그래도 이걸 로컬에서 제대로 돌려볼 수 있다는 게 좋다.
기본 qwen 27b나 파인튜닝 모델을 써 봤나? 일상적인 코딩 작업을 잘 처리한다고 들었다.
27B도 좋다. 특히 Swift-1.5 파인튜닝이 마음에 든다. 과도한 추론이 훨씬 적은데 성능 차이는 거의 없었다. 다만 대부분의 용도에서는 Flash Next가 한 수 위이고 훨씬 빠르다.
그건 써 본 적 없네, 팁 고맙다.