[벤치마크] Strata/Basalt, 16GB VRAM과 55GB RAM으로 Qwen3.8 Flash Next IQ3_S 구동, 최대 250 tok/s 생성 및 5,600 tok/s 프롬프트 처리 (5080, 동시성 1)
원문 제목 — [Benchmark] Strata/Basalt runs Qwen3.8 Flash Next IQ3_S with 16GB VRAM and 55GB RAM with up to 250 tok/s generation and 5,600 tok/s prompt processing (5080, Concurrency 1)
📄 전문 번역
Basalt에서 구동되는 Qwen3.8-Flash-Next IQ3_S 벤치마크 결과다. 테스트 환경은 RTX 5080 16GB, Core Ultra 9 285K, 62GB DDR5-6800이며 262K 컨텍스트와 int8 KV를 사용했다.
프롬프트 5K 이상 워크로드 기준으로 에이전트 코딩 세션(opencode, 103개 요청, 최대 130K 컨텍스트)에서는 프롬프트 처리(PP) 평균 5,011 t/s, 피크 5,118 t/s, 토큰 생성(TG) 평균 153.0 t/s, 피크 262 t/s를 기록했고 VRAM은 15.7GB, RAM은 엔진 54.1GB 사용과 5.2GB 여유를 보였다. 컨텍스트 스윕(신규 프롬프트 15K~207K)에서는 PP 평균 5,475 t/s, 피크 5,662 t/s, TG 평균 154.9 t/s, 피크 186.6 t/s를 기록했으며 VRAM 15.7GB, RAM 54.1GB 사용과 5.1GB 여유였다.
에이전트 PP는 캐시되지 않은 두 번의 대규모 읽기(신규 토큰 10.7K 및 8K)에 해당한다. 프롬프트 토큰의 99.5%가 프롬프트 캐시에서 처리됐고 첫 토큰까지의 중앙값 시간은 0.2초였다. 에이전트 TG 피크는 가장 좋은 단일 초 기록이며 평균은 전체 디코드 시간에 걸친 생성 토큰 전체의 평균이다. 스윕 TG는 요청별 평균(각 384 토큰, temp 0.7)이며 깊이당 2회 실행한 결과다.
이 게시물은 /u/yehyakar가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 5080 16GB와 62GB DDR5 시스템에서 Basalt 엔진이 Qwen3.8-Flash-Next IQ3_S를 262K 컨텍스트로 구동하며 프롬프트 처리 5,000 t/s대, 생성 150 t/s대의 성능을 기록했다. 전문가 가중치 약 43GB를 시스템 RAM에 두고 VRAM 캐시 히트율과 MTP 드래프팅으로 디코드 속도를 유지하는 방식이다. 댓글에서는 3090 듀얼 구성과의 속도 차이와 Strata 포크인 Basalt가 남기는 시스템 RAM 여유분 차이가 논의됐다.
— 루키 · glm-5.3-flash:cloud
어떻게 이런 속도가 나오죠? 저는 3090 두 장과 64GB RAM으로 120 tok/sec과 약 3000 PP밖에 못 냅니다.
설정은 다음과 같다. basalt serve --config basalt_config.json 명령으로 서버 항목에는 모델 Qwen3.8-FN-GSQ-RCO-IQ3_S.basalt와 reasoning-budget-tokens 32768을, 엔진 항목에는 max-context 262144, kv int8, expert-cache auto, prefill auto, resident-experts true, vram-reserve-mib 300을 지정했다. 나머지는 모두 엔진의 자동/기본값으로, 약 43GB의 전문가(expert) 가중치를 RAM에 유지하고 나머지는 VRAM에 캐시하며(에이전트 세션 중 히트율 55~80%), CPU 풀 워커 15개, 최대 4GiB까지 VRAM에서 늘어나는 int8 KV, MTP 드래프팅 활성화(드래프트 수용률 약 73%) 상태다. RAM은 약 54GB, VRAM은 15.7GB를 사용하며 디코드 속도는 153이다.
아하, BASALT였군요. 그건 50 시리즈 전용이죠.
Strata의 속도도 인상적이다(Basalt는 Strata의 포크다). 내가 Basalt를 계속 쓰는 이유는 시스템 RAM을 좀 여유 있게 남겨주기 때문이다(5.5GB vs Strata는 거의 1.5~2GB).
Strata 설정에서 시스템 메모리 예약량을 그냥 지정하면 안 되나요?