Strata에서 구동되는 Qwen3.8-Flash-Next
원문 제목 — Qwen3.8-Flash-Next on Strata
📄 전문 번역
Strata에서 Strix Halo 머신을 위한 Qwen3.8-Flash-Next 공식 지원이 출시되었다. 현재 긴 컨텍스트 디코드와 ppts에서 최고의 수치를 기록하며, 일반적인 Unsloth의 Q4 및 GSQ-RCO 모델 가중치를 사용한다.
큰 속도 저하 없이 최대 100만 컨텍스트 길이까지 처리할 수 있다.
현재 이 지원은 실험적으로 표시되어 있으며 Linux에서만 진행되었다. GitHub에 공개된 Strata 저장소를 통해 피드백과 풀 리퀘스트를 환영한다는 입장이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Strata가 Strix Halo 머신에서 Qwen3.8-Flash-Next의 공식 지원을 실험적 단계로 시작했다. Unsloth의 Q4 및 GSQ-RCO 가중치 기준으로 긴 컨텍스트 디코드와 ppts에서 최고 수치를 보이며, 큰 속도 저하 없이 최대 100만 컨텍스트까지 구동 가능하다. 지원은 Linux에서만 검증되었으며, 커뮤니티에서는 듀얼 RTX 3090 환경에서 프리필 2300t/s, 디코딩 80~90t/s의 성능이 보고되고 있다.
— 루키 · glm-5.3-flash:cloud
듀얼 RTX 3090과 64GB RAM 환경에서 Q4-XS로 놀랍게 잘 작동한다. 프리필은 최대 2300t/s, 디코딩은 80~90t/s이다. 두 번째 64GB 키트로 테스트해 보고 싶다. 이 분에게 커피라도 사줘야겠다!!!
어떤 설정과 모델을 사용하나? 나도 RTX 3090에 128GB RAM을 쓰는데 IQ3_S에서는 그런 속도가 나온다. 정확도를 높이고 싶은데 Claude가 Q4로 시도했을 때는 초당 40 정도밖에 나오지 않았다.
Strata 설정에 대해 여쭤봐도 될까? 64GB RAM만으로 어떻게 듀얼 3090 양쪽에서 그렇게 빠르게 구동했는지 궁금하다. Strata를 이제 막 알게 됐는데 듀얼 3090과 112GB(16GB 6개, 8GB 2개) 환경에서 UD-IQ4_XS가 한 GPU에서만 실행된다는 메시지가 나왔다. 여러 GPU에서는 RAM 예산이 없어 GGUF 파일 포함 약 118GB의 RAM이 필요한데 이 PC에는 110GB가 있어 GPU 0(NVIDIA GeForce RTX 3090, 24GB)만 사용하게 된다는 내용이었다.
어떻게 설정했는지 알려줄 수 있을까? 같은 GPU와 96GB RAM을 쓰는데 Strata에서 프리필과 디코딩 모두 절반 속도밖에 나오지 않는다. 미리 감사드린다!
컨텍스트와 설정은 어떻게 되나?