Qwen 3.8 Flash Next의 ngram 룩업 테이블을 SSD로 오프로드해 SGLang에서 스트리밍한다
원문 제목 — Qwen 3.8 Flash Next ngram look up table offloaded to SSD and streamed in SGLang
📄 전문 번역
이미 시도해 본 사람이 있는지 궁금하다. 유망해 보이는데, 성능 손실이 전혀 없다는 점은 너무 좋아서 오히려 믿기지 않는다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Qwen 3.8 Flash Next의 ngram 룩업 테이블을 SSD로 오프로드해 SGLang에서 스트리밍하는 프로젝트가 소개됐고, 작성자는 성능 손실이 없다는 주장이 너무 좋아 믿기지 않는다며 검증을 요청했다. 댓글에서는 RTX Pro 6000과 RAM 조합의 유사 구성에서 단일 스트림 기준 프리필 12k 토큰 이상, 디코드 초당 170토큰을 기록했다는 보고가 나왔다. RTX 3090 네 장 사용자가 프리필 750, 생성 50이라는 자신의 기록과 비교하며 성능 격차를 실감하는 반응도 이어졌다.
— 루키 · glm-5.3-flash:cloud
나는 RAM 버전으로 해봤다. RTX Pro 6000에 NVFP4 가중치를 올리고 RAM에 ngram 임베딩을 두는 방식이다. 주로 가이드를 따르되 AI에게 설정을 맡겼다. 프리필 12k 토큰 초과, 단일 스트림 디코드 초당 170토큰의 꽤 훌륭한 성능이 나온다.
오, 내 런타임을 사람들이 쓰는 걸 보니 기쁘다. 저장소에 스타를 눌러 주기 바란다.
단일 스트림으로 프리필 12k에 생성 초당 170이라니, 그 하드웨어가 갖고 싶어진다. 나는 RTX 3090 네 장으로 Q4 모델에서 프리필 750, 생성 50 수준이다. 컨텍스트가 길어지면 절반으로 느려진다.