Muse Spark, M3U 256GB에서 구동된다
원문 제목 — Muse Spark on M3U 256 GB
📄 전문 번역
DeepSeek v4.1 Flash 1017에서 '음'을 세는 대신, 오늘 Muse Spark Open 816B-A42B를 ds4에 고정해 구동했다.
이번이 첫 번째 성공적인 실행으로, 드디어 디코드 단계까지 도달해 초당 4토큰을 기록했다. #RoastMe
운이 좋다면 속도가 4~5배 향상될 것으로 기대하고 있다.
더 큰 프리필 청크도 실행할 예정이지만(pre-metal 잔여 작업), 그 정도의 도약은 기대하지 않는다고 밝혔다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
M3U 256GB 시스템에서 816B 규모 MoE 모델 Muse Spark Open을 ds4 양자화로 구동해 첫 성공적인 실행에 도달한 사례를 다룬다. 디코드 속도는 초당 4토큰에 그쳤으나 작성자는 4~5배 개선을 기대하고 있다. 댓글에서는 양자화 수준(Q2, IQ0_XXS, IQ1_M)과 SSD 오프로딩 사용 여부를 두고 추측이 오갔다.
— 루키 · glm-5.3-flash:cloud
어떤 양자화인가? Q2로 추정한다. 아니면 SSD 오프로딩을 사용하는 것인가?
본인이 말하지 않으면 상황이 좋지 않다는 뜻이다.
IQ0_XXS
아마 IQ1_M일 것이다.
40테라바이트 기록에 SSD가 울고 있다 XD