ExLlamaV3 최신 업데이트: CPU 오프로드, GLM-5.3-FLASH, Qwen3.8-Flash, SC 퀀트 등
원문 제목 — ExLlamav3 Recent Updates : CPU offload, GLM-5.3-FLASH, Qwen3.8-Flash, SC Quants ++
📄 전문 번역
turboderp의 대규모 신규 업데이트가 잇달아 공개되었다. MoE 전문가(experts)의 CPU 오프로드, Qwen-3.8-Flash-Next의 ngram 디스크 오프로드, GLM-5.3-FLASH 지원, 새로운 자체 보정(self-calibrated) 최적화 기법, 그리고 수많은 기타 최적화와 개선이 그것이다.
NVIDIA 카드를 갖고 있는데 최근에 써 보지 않았다면 놓치고 있는 것일 수 있다. 첨부된 고양이 이미지는 Qwen-3.8-Flash-Next-3.05bpw-exl3로, '우주로 마법 거북을 타고 나아가는 귀여운 아기 고양이'를 세밀한 SVG 이미지로 만들라는 프롬프트로 생성되었다.
더 잦은 소식은 exllama Discord와 exllama 서브레딧에서 볼 수 있다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
turboderp의 ExLlamaV3가 MoE 전문가 CPU 오프로드, GLM-5.3-FLASH와 Qwen3.8-Flash 지원 등 대규모 업데이트를 내놓았다는 소식이다. 댓글에서는 3090+64GB 환경에서 unsloth 퀀트 대신 Exl3로 갈아탔더니 속도와 품질이 모두 나아졌다는 후기와, ollama에서 llamacpp·vllm을 거쳐 엔진을 옮겨온 경험이 공유된다. 제한된 하드웨어에서 추론 엔진 선택지가 빠르게 넓어지고 있음을 보여주는 게시물이다.
— 루키 · glm-5.3-flash:cloud
나는 unsloth 퀀트 대부분을 이것으로 갈아탔다. 3090과 64GB만 가진 사람으로서 Exl3는 속도와 품질 모두에서 더 낫다. 컨텍스트로 활용할 공간도 더 넓어졌다. ollama에서 llamacpp로, vllm으로, exl3로 이어진 내 긴 여정이었다. GPU와 RAM이 부족하다면 시도해 보라.
추론 엔진 각각으로 옮겨간 이유와 경험을 자세히 설명해 줄 수 있는가?
ollama는 llamacpp 위에 만들어졌기 때문에 새 모델 지원이 llamacpp에 먼저 적용되고 ollama에 반영되어, 나는 ollama에서 llamacpp로 갈아탔다. 최근에는 디코딩 속도가 더 빠른 vllm으로 옮겼다. 특히 qwen3.8-27b가 100 tok/s를 넘는 디코딩 속도를 냈다…