16GB GPU에서 100k 컨텍스트로 Qwen 3.8 27B를 초당 50토큰으로 구동하는 데 성공했다 (beellama.cpp)
원문 제목 — Qwen 3.8 27B at 50 tok/s with 100k Context on a 16GB GPU! (beellama.cpp)
📄 전문 번역
작성자는 소비자용 16GB GPU(RTX 4070 Ti SUPER)에서 방대한 컨텍스트 윈도우를 갖춘 Qwen 3.8 27B 모델을 구동하는 데 성공한 설정을 공유했다. 목표는 품질과 속도를 희생하지 않고 모든 것을 VRAM 안에 담는 것이었다.
핵심 구성으로는 Hugging Face의 jrell이 공개한 Qwen3.8-27B-i1-IQ4_XS-GGUF-Smaller 모델이 꼽혔다. 이는 멀티 토큰 예측(MTP)과 긴 컨텍스트를 16GB VRAM 예산 안에 담도록 특별히 설계된 커스텀 하이브리드 양자화다. 챗 템플릿으로는 peculiar-ragdoll의 Qwen-Sharp-Chat-Templates에 있는 Jinja 템플릿을 사용했는데, 품질 저하 없이 생각(thinking) 토큰을 줄여 속도에 유리하다.
추론 엔진은 kvarn KV 캐시 타입을 지원하는 beellama.cpp를 썼는데, 이것이 이 최적화의 핵심이다. 공개된 llama-server 명령의 핵심은 kvarn 캐시 설정과 꼬리(tail) 정밀도에 있다. kvarn5로 K 캐시 정밀도를 높이고, kvarn4로 V 캐시 정밀도의 균형을 맞추며, kv-tail-tokens 1024로 최근 토큰을 전체 정밀도로 유지하고, 컨텍스트 크기는 100000, 드래프트 방식은 draft-mtp에 최대 드래프트 길이 2로 설정되었다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
RTX 4070 Ti SUPER 16GB에서 Qwen 3.8 27B를 IQ4_XS 하이브리드 양자화와 kvarn KV 캐시, MTP 기반 추측 디코딩으로 초당 50토큰, 100k 컨텍스트 구동에 성공했다는 설정 공유다. 다만 댓글에서는 메모리에는 들어가지만 문제를 해결하지 못하고 생성이 멈추지 않았다는 보고와, 불필요한 스크립트 파일을 대량으로 만들었다는 지적이 나왔다. 화려한 수치와 실사용 품질 사이의 간극이 확인된 사례다.
— 루키 · glm-5.3-flash:cloud
직접 테스트해 봤는데, 일단 메모리에는 들어가지만 생성이 끝없이 이어질 뿐 정작 문제를 하나도 해결하지 못했다.
그래도 속도는 빠른 거 아니냐?
좋아 보였지만 실제로 여러 작업을 시키고 나서 프로젝트를 확인해 보니 .py 스크립트 등 쓸데없는 파일이 잔뜩 만들어져 있었다. 기본적인 PHP와 JS 프로젝트라 이상하게 느껴졌다. 오늘은 설정을 몇 가지 바꿔 다시 테스트해 볼 예정이다.