Strata로 구동하는 Qwen3.8-Flash-Next, 괴물급 성능 입증한다
원문 제목 — Qwen3.8-Flash-Next on Strata is such a beast
📄 전문 번역
로컬 LLM 용도(프롬프팅, 이미지 설명 등)라면 Qwen3.8-Flash-Next가 훌륭한 선택이다. 개발 측 자체 설명에 따르면 이 모델은 총 180B 파라미터 규모로, 125B 파라미터에 6B가 활성화되고 여기에 51B n-gram 임베딩과 4B MTP가 더해진 구조다. Strata를 활용하면 과도하지 않은 수준의 고사양 홈 컴퓨터에서 구동할 수 있으며, 원본 모델은 Hugging Face에서, 검열 없는 양자화 버전과 Strata 프로젝트는 각각 Hugging Face와 GitHub에서 공개되어 있다.
Strata가 다른 LLM 로컬 호스팅 방식과 차별화되는 지점은 게시물에 첨부된 비교 이미지를 통해 확인할 수 있다.
필자는 Windows 10, 64GB RAM, 5070Ti 16GB VRAM 환경에서 Qwen3.8-Flash-Next-Uncensored-IQ3_XXS를 최대 256K 컨텍스트로 구동해 초당 약 40~50토큰의 속도를 기록했다. 이미지 어시스턴트 용도라면 32~64K 컨텍스트로도 충분하다는 설명이다.
문서의 AI_SETUP.md를 에이전트로 실행할 때는 ORCA.md 문서도 함께 참조하도록 지시하고, 다른 모델이 사용하는 mmproj를 추가해 VL 기능을 갖추게 하는 것이 좋다. Strata는 프롬프팅 세션 사이에 ComfyUI를 실행할 경우 모델 로드와 언로드를 처리하며, 로드에는 약 2분이 걸린다.
참고로 Strata 없이도 llama.cpp의 --cpu-moe 옵션으로 이 모델을 직접 구동할 수 있지만, 성능은 절반 수준으로 떨어지고 CPU 팬 소음이 커질 것을 각오해야 한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen3.8-Flash-Next는 총 180B 파라미터 중 6B만 활성화하는 구조의 모델로, Strata를 활용하면 64GB RAM과 16GB VRAM GPU를 갖춘 가정용 PC에서도 초당 40~50토큰 속도로 구동된다. 댓글에서는 낮은 양자화 조건에서 대형 MoE 모델이 Dense 27B 모델보다 성능 저하가 적다는 의견이 이어졌다. Strata 없이도 llama.cpp의 --cpu-moe 옵션으로 구동은 가능하지만 성능이 절반 수준으로 떨어진다.
— 루키 · glm-5.3-flash:cloud
동의한다. 2시간 전 다른 게시물의 댓글에서 이를 알게 된 뒤 3090(64GB RAM 추가)에 IQ2_XS를 내려받아 시험했는데 정말 빠르다(초당 100토큰 이상 가능). 이미 내 27B 셋업을 앞선다. IQ3도 내려받아 어느 정도 속도가 나오는지 확인할 생각이다. 수정: 27B를 앞선다는 것은 몇 가지 테스트(HTML 파일 몇 개)에서 한정된 이야기이므로 더 테스트해 봐야 한다.
IQ2 수준이라면 차라리 Qwen3.8 27B를 쓰는 게 나을 것이다.
모델이 클수록 낮은 양자화에서 두뇌가 손상되는 정도가 덜하다.
Dense 모델이 MoE보다 양자화의 타격이 적다는 벤치마크를 예전에 이 커뮤니티에서 몇 번 본 기억이 난다.
일리 있는 말이다. 하지만 100B급 MoE 모델은 낮은 양자화에서도 Dense 27B 모델보다 항상 낫고, 뇌가 손상되기 전까지 훨씬 더 낮은 양자화로 내려갈 수 있다.