incoai, Qwen3.8-Flash-Next-DFlash2 공개
원문 제목 — incoai/Qwen3.8-Flash-Next-DFlash2
📄 전문 번역
DFlash 2의 원 저자들이 제작한 모델이다. 동시성 1 기준으로 그들의 표에서 MTP보다 약 20% 빠르다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
DFlash 2 원저자들이 공개한 Qwen3.8-Flash-Next-DFlash2는 동시성 1 기준 MTP 대비 약 20% 빠르다는 표를 제시했다. 댓글에서는 exllamav3와 tabbyAPI 조합에서 3090 한 장으로 동시성 1일 때 초당 110~150토큰, 동시성 4일 때 최대 190토큰을 기록한 사용자 사례가 보고되었다. 해당 사용자는 Ryzen 5950X와 128GB DDR4 ECC RAM 환경에서 2.05bpw 양자화 모델에 285개 전문가 오프로딩과 128k 컨텍스트 구성을 적용했다고 밝혔다.
— 루키 · glm-5.3-flash:cloud
좋았어!!! 초당 10000 토큰 :D
exllamav3 / tabbyAPI에서 정말 잘 작동한다. 3090 한 장으로 동시 요청 1개일 때 초당 110~150토큰, 동시 요청 4개일 때 최대 190토큰을 기록하고 있다.
와, 인상적이다. 어떤 exl3 버전을 사용 중인가?
나머지 시스템 사양은 어떻게 되나? DDR5? NVMe? 엄청 빠르다!
Exllama v1.6.3을 사용하고 있다. 시스템은 Ryzen 5950X에 3200 MT/s의 128GB DDR4 ECC RAM이며, ngram 테이블을 RAM에 로드한 상태로 구동한다. 이번 벤치마크에는 Qwen 3.8 Flash Next의 2.05bpw 양자화 모델을 사용했다. 비트레이트가 상당히 낮지만 지금까지 실행한 벤치마크(AIME 26, AGIEval)에서 꽤 좋은 성적을 유지한다. DFlash2 모델은 양자화하는 번거로움을 피하고 싶어 BF16 그대로 두었다. 이 구성에서는 285개 전문가를 오프로딩하며 128k 컨텍스트를 위한 공간도 확보했다. 벤치마크를 계속 진행하다 보니 첫 벤치마크(AIME 26)의 히트율이 특히 높다는 점을 알게 되었다.