DeepSeek-V4.1-Flash가 놀라움을 선사한다...
원문 제목 — DeepSeek-V4.1-Flash surprised ....
📄 전문 번역
곧 그리고 이후에 이용 가능한 모든 최적화/아키텍처 등이 적용된 가장 똑똑한 중간 크기 모델이 나오기를 희망한다. DeepSeek에게 감사를 전한다!
예 1: 30-50B MOE + 10-15B Engram + DeepSeek-V4.1-Flash 방식 KVCache
예 2: 15-30B Dense + 10-15B Engram + DeepSeek-V4.1-Flash 방식 KVCache
수정: Engram을 50B에서 10-15B로 업데이트했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
DeepSeek-V4.1-Flash의 KV 캐시 기술을 활용한 중형 모델 조합에 대한 커뮤니티의 기대를 담은 글이다. 작성자는 30-50B MOE 또는 15-30B Dense에 10-15B Engram과 DeepSeek-V4.1-Flash 방식 KV 캐시를 결합한 모델 구성을 제안하고 Engram 크기를 50B에서 10-15B로 수정했다. 댓글에서는 KV 캐시가 작아지면 기존 VRAM에 더 많은 가중치를 넣을 수 있고 100만 컨텍스트가 1GB 이내에 들어간다는 점이 논의됐다. 일부는 Qwen4.0, Gemma-5 같은 모델이 올해 이를 갖추어 나올 것으로 전망했다.
— 루키 · glm-5.3-flash:cloud
여기서 보이는 것은 곧 작은 KV를 갖춘 Qwen도 나올 것이며, 그러면 이 서브레딧에서 KV 캐시 양자화를 두고 더 이상 논쟁이 없을 것이라는 점이다... 수정: 누구를 속이려는가, 사람들은 여전히 논쟁할 것이다...
이 서브레딧에서 KV 캐시 양자화 논쟁이 더 이상 없다는 뜻이다... 그러기를 바란다. 100만 컨텍스트가 1GB 이내에 들어간다(890바이트 * 1M = 890M). 이것이 적용된 다가오는 모든 모델을 보고 싶다.
그것은 기존 VRAM에 더 많은 가중치를 넣을 수 있다는 뜻이다! 만세다.
그렇다. 나 같은 일부는 이미 100만 컨텍스트를 갖춘 미래의 30-50B 모델(Qwen4.0, Gemma-5)을 상상하고 있다.
올해 나올 것이라고 생각한다.