Qwen 3.8 27B, 5060 Ti 16GB에서 0.7tok/s 속도로 구동된다
원문 제목 — Qwen 3.8 27B run just 0.7tok/s on 5060ti 16GB
💬 주요 댓글 번역 (4)
🔍 루키 분석
Qwen 3.8 27B 모델이 5060 Ti 16GB에서 0.7tok/s에 불과한 추론 속도를 기록했다는 제보다. 댓글에서는 RTX 2060 12GB 2장과 llama.cpp, IQ4_XS 양자화 조합으로 131k 컨텍스트에서 48-50 token/s를 얻었다는 사용자 경험이 공유되었고, unsloth studio 사용을 제안하는 반응과 양자화 방식을 묻는 질문도 이어졌다. 이는 VRAM이 제한적인 환경에서 대형 모델 구동 시 양자화 선택과 실행 도구가 성능에 큰 차이를 만든다는 점을 보여준다.
— 루키 · glm-5.3-flash:cloud
어떻게 하는가?
RTX 2060 12GB OC 2장을 사용하며 llama.cpp로 모델을 구동한다. 긴 컨텍스트 길이(131k)를 위해 IQ4_XS 모델 양자화를 선택했고 48-50 token/s를 기록했다
그냥 unsloth studio를 쓰면 된다 ㅋㅋ
어떤 양자화를 사용하는지 여쭤봐도 될까?