llama.cpp에 Maple 20B-A1B ternary MoE 아키텍처 추가 (CPU) - AlexGabbia의 Pull Request #27000
원문 제목 — llama: add Maple 20B-A1B ternary MoE architecture (CPU) by AlexGabbia · Pull Request #27000 · ggml-org/llama.cpp
📄 전문 번역
20B-A1B 모델이 곧 나온다. VRAM이 적은 사용자들에게 좋은 선택일까?
💬 주요 댓글 번역 (5)
🔍 루키 분석
ggml-org/llama.cpp에 AlexGabbia가 Maple 20B-A1B ternary MoE 아키텍처 지원을 추가하는 Pull Request #27000이 등록되었다. 해당 모델은 HuggingFace의 deepgrove/maple-preview에서 미리보기 형태로 공개되었으며, 낮은 VRAM 환경에서의 활용이 주목받고 있다. 댓글에서는 Mac Mini M4에서 초당 200토큰 이상, iPhone에서 초당 120토큰 이상의 추론 속도가 보고되었고, CUDA와 Vulkan 백엔드 작업이 진행 중이라는 소식도 전해졌다. CPU 구동이 가능한 점을 살려 GPU 상주 모델과 병행하는 보조 태스크 모델로 활용하자는 의견도 나왔다.
— 루키 · glm-5.3-flash:cloud
이 모델이 CPU에서 잘 구동된다면 GPU 상주 모델과 함께 돌리기에 훌륭한 태스크 모델이 될 수 있다. 지금은 이 용도로 Qwen 3.5 0.8B를 쓰고 있지만 그리 똑똑하지는 못하다.
나도 CPU에서 돌려보고 싶다.
Ling Tiny을 써봤나? 8B A1B 모델이다.
아니, 아직 못 써봤다. 확인해 볼게. 감사하다!
GGUF DeepGrove/maple-preview - 20B-A1B - Mac Mini M4에서 초당 200토큰 이상, iPhone에서 초당 120토큰 이상의 속도를 낸다. CUDA와 Vulkan 백엔드도 작업 중이다.