Meta의 816B Muse Spark Open, Artificial Analysis에서 39점 기록… 180B Qwen3.8-Flash-Next는 40점… 오픈 웨이트 모델 11개 점수 대비 크기 비교
원문 제목 — Meta's 816B Muse Spark Open scores 39 on Artificial Analysis, the 180B Qwen3.8-Flash-Next scores 40. Score vs size for 11 open-weight models
📄 전문 번역
지난주 Muse Spark Open과 Beam의 점수가 공개된 후 Artificial Analysis 모델 페이지를 바탕으로 이 차트를 만들었다. X축은 AA가 표기한 총 파라미터 수이며 로그 스케일이다. 주황색은 2026년 10월에 출시된 모델이다.
Muse Spark Open(816B, 활성 42B)은 39점을 기록했다. Qwen3.8-Flash-Next(180B, 활성 6B)는 40점을 기록했다. Unsloth UD-Q4_K_XL GGUF는 Muse Spark Open의 경우 약 506GB, Qwen3.8-Flash-Next의 경우 약 111GB이다. Meta가 권장하는 Muse Spark Open 로컬 구성은 512GB 메모리를 갖춘 M5 Ultra Mac Studio 두 대이다.
Qwen3.8 27B는 34점으로, 30점의 Beam(501B)과 21점의 Nemotron 3.5 Bolt(74B)를 상회한다. Unsloth는 4비트 양자화 모델에 16~19GB의 메모리를 요구한다고 밝혔다.
차트에서 최고 점수는 46점의 MiMo-V2.6-Pro(1T)이며, 그 뒤로 45점의 DeepSeek V4.1 Flash 1017(552B)과 GLM-5.3(753B)이 이어진다. 이 지수는 AA의 자체 평가 실행에서 나온 하나의 종합 수치로, 속도, 긴 컨텍스트, 비전, 사용자의 고유 작업에서의 성능에 대해서는 아무것도 말해주지 않는다.
활성 파라미터, 라이선스 및 링크가 포함된 표는 댓글에서 확인할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Artificial Analysis의 자체 평가를 바탕으로 오픈 웨이트 모델 11개의 종합 점수와 총 파라미터 수를 비교한 차트다. 816B급 Muse Spark Open보다 180B급 Qwen3.8-Flash-Next가 더 높은 점수를 기록해 효율 격차가 두드러진다. 27B급 Qwen3.8이 501B급 Beam을 앞서는 등 소형 모델의 성능이 눈에 띈다. 다만 이 지수는 속도, 긴 컨텍스트, 비전 등 다른 성능 지표는 반영하지 않는다.
— 루키 · glm-5.3-flash:cloud
Muse Open은 사실상 Llama를 확장해 새 데이터로 학습시킨 것에 불과하니 이런 결과는 필연적인 귀결이다. 이 가중치가 muse spark 1.2의 것이라고 주장하지만 믿기 어렵다. 두 모델의 벤치마크 점수가 크게 다르고, 실제로 이렇게 낡은 모델을 쓰고 있을 리 없기 때문이다.
Spark는 완전히 다른 부류다. 개인적으로는 신선한 공기 같은 존재다. QFN과 비슷한 수준의 지능이지만, 그다지 대단한 건 아니며 더 빨리 결과를 내준다. 토큰 효율은 원시인 수준이다.
Qwen3.8-27B는 진정한 이례다! 자기 크기를 훨씬 뛰어넘는 성능을 보여준다.
localLLama 코딩용으로는 Qwen이 최고다! 시 주석님, Qwen 4를 우리에게 주세요! 도모 아리가토!
마지막 말이 일본어라는 점, 그리고 일본과 중국이 수천 년간 전쟁과 증오를 겪어왔다는 점은 인지하고 있는가? 😅