llama : 호스트 메모리에 보관되는 MoE 전문가용 GPU 캐시 추가 (am17an · Pull Request #29887 · ggml-org/llama.cpp)
원문 제목 — llama : add a GPU cache for MoE experts kept in host memory by am17an · Pull Request #29887 · ggml-org/llama.cpp
📄 전문 번역
VRAM에 완전히 담기지 않는 MoE 모델에서 잠재적으로 큰 속도 향상을 가져올 수 있다.
GPU 빈곤층(GPU Poor)인가? 속도 향상을 보여달라 ;) /u/jacek2023 제공 [link] [comments]
💬 주요 댓글 번역 (5)
🔍 루키 분석
llama.cpp에 호스트 메모리에 보관된 MoE 전문가를 위한 GPU 캐시를 추가하는 PR #29887이 등장했다. VRAM에 모델 전체를 올리지 못하는 환경에서 잠재적으로 큰 속도 향상이 기대된다. 커뮤니티에서는 PR이 제안한 모델 가중치의 10%를 기준으로 --moe-cache-mib 값을 시행착오로 조정하며 벤치마크 공유를 기다리고 있다. 일부 사용자는 충분한 속도 향상이 확인되면 더 높은 양자화로 128-256K 컨텍스트를 시도할 수 있을 것으로 본다.
— 루키 · glm-5.3-flash:cloud
많은 llama.cpp 사용자들, 특히 Poor GPU Club에게는 꿈이 실현된 순간이다. u/am17an 👍 다시 한번 감사한다!
벤치마크 결과를 올릴 계획인가?
지금 주력 노트북이 없어서 바로 확인하지 못했다. t/s 통계는 나중에 여기나 다른 경로로 공유하겠다. 8GB VRAM + 32GB RAM 환경에 가장 적합한 값을 몰라서 --moe-cache-mib 값을 시행착오로 찾아야 할 것 같다. 이에 대한 추측이라도 있는가? 앞으로 자동 모드(-cmoe 같은)를 위한 --cmoe-cache-mib가 추가되기를 바란다.
PR에서는 모델 가중치의 10%를 사용하라고 제안한다. gguf 파일 크기의 약 10%를 의미하는 것으로 해석했지만 확신은 없다. 오늘 이 플래그를 가지고 직접 실험해볼 예정이다.
알겠다. 나는 Qwen3.6-35B-A3B의 IQ4_XS를 사용한다. 크기가 19-20GB이므로 2GB가 실험하기에 적당한 값에 가까울 것이다. 감사하다. 128-256K 컨텍스트에서 충분히 빠른 t/s를 얻는다면 Q4_K_M이나 Q5_K_M 같은 더 높은 양자화를 선택하는 데 도움이 될 수 있겠다.