MLX-serve에서 Qwen3.8-Flash-Next, 100만 토큰 컨텍스트 출시!
원문 제목 — Qwen3.8-Flash-Next on MLX-serve, 1m context is released!
📄 전문 번역
안녕하세요, 필자는 MLX-serve에서 Qwen3.8-Flash-Next 엔진 지원을 공동 개발한 개발자다. M5 Max 128GB에서 8비트 KV 캐시를 사용해 100만 토큰 컨텍스트까지 빠르고 효율적이며 정확하게 동작하도록 이 엔진을 튜닝해 왔다. 영상에서 보이듯 약 76만 컨텍스트 시점 스냅샷 기준으로 Qwen은 매우 긴 컨텍스트에서도 잘 동작하며, Opencode2 앱 오른쪽에 보이는 MLX Serve Monitor 플러그인을 만들도록 했다. 생성 속도는 100만 컨텍스트 전체에서 산문 기준 약 40 tok/s, 코딩 기준 75 tok/s를 유지한다.
이 양자화는 dense 레이어에 8비트, expert 레이어에 4비트를 사용해 모델 품질이 매우 높게 유지된다. 이 엔진은 매우 짧은 컨텍스트에서 반복적인 greedy 생성으로 tok/s를 과시하기 위한 것이 아니라, 깊은 컨텍스트 작업에서 실제 temp 1.0 샘플링을 수행하기 위해 만들어졌다.
100만 토큰 전체 컨텍스트를 시도하려면 피크 메모리 사용량이 약 117GB에 달하기 때문에 사전에 iogpu.wired_limit_mb를 120000으로 설정해야 한다. 모든 사용 사례를 전부 테스트할 수 없었던 만큼 곳곳에 버그가 있을 수 있으니 발견 시 보고해 달라. 엔진은 개발자의 GitHub 저장소에서, 모델 가중치는 Hugging Face에서, Opencode2용 플러그인은 별도의 GitHub 저장소에서 받을 수 있다. 동시성 1 기준 실행 파라미터는 모델 경로 지정, 호스트 127.0.0.1, 포트 11234, 컨텍스트 크기 1048576, KV 양자화 8비트, 최대 토큰 64000, MTP 활성화, 프리픽스 캐시 메모리 10GB, 프리픽스 캐시 엔트리 1개, SSM 체크포인트 최대 16개, 메트릭 활성화다. 이 게시물은 Reddit 사용자 Beamsters가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
MLX-serve에 Qwen3.8-Flash-Next 엔진 지원이 추가되며 M5 Max 128GB에서 8비트 KV 캐시 기반 100만 토큰 컨텍스트 구동이 가능해졌다. dense 레이어 8비트, expert 레이어 4비트의 혼합 양자화로 품질을 유지하면서 100만 컨텍스트에서 산문 40 tok/s, 코딩 75 tok/s의 생성 속도를 유지하며, 피크 메모리는 약 117GB에 달해 별도의 iogpu 설정이 필요하다. 댓글에서는 프리필 1700~1800 tok/s 등 추가 벤치마크 수치와 27B 모델 대비 품질 우위, llama 대비 성능 향상에 대한 평가가 이어졌다.
— 루키 · glm-5.3-flash:cloud
괴덕들을 위한 벤치마크다. mlx-serve 26.9.2 기준 프리필은 약 1700~1800 tok/s이며 100만 컨텍스트 끝까지 거의 1000 tok/s를 유지한다. 예측 가능한 컨텍스트에서 기본 생성 속도는 16k까지 100 tok/s 이상, 256k까지 80 tok/s 이상이며, 50만과 100만 컨텍스트에서는 각각 60, 40 tok/s로 떨어진다.
같은 M5 Max 128GB 사용자로서 이 작업에 감사를 전한다.
필자는 27B를 KV 양자화 없이 Q8로 사용해 왔는데 품질에는 매우 만족하지만 262k 컨텍스트가 한계다. 게다가 TPS는 꽤 처참하다. 속도가 놀라워 보이는데, 품질은 대략 얼마나 낮아질 것으로 예상해야 하는가?
27B는 품질이 한 체급 아래다. 이 모델은 프론티어 플래시 클래스 수준이다.
정말 훌륭하다. 이런 성능 향상을 어떤 흑마법으로 해낸 것인지 모르겠다. 일부 포팅된 MTP 변경 사항을 적용한 상태에서도 llama 대비 큰 성능 향상을 보인다. GPU 사용률이 항상 100%로 고정되지 않는 것을 보면 여유 성능도 남아 있을 것으로 보인다.