8GB VRAM으로 Claude Code에 쓰기 좋은 로컬 모델
원문 제목 — Best Local Models for Claude Code with 8gb vram
📄 전문 번역
RTX 5060 8GB VRAM과 16GB RAM을 갖춘 노트북에서 테스트를 진행했다. Claude Code에서는 autocompact를 false로 설정했고, Ollama에서는 Flash attention을 1로, KV 캐시를 q8_0으로 설정했다.
Gemma4 12B는 64K 컨텍스트를 지원하며, Qwen3.5 9B는 256K 컨텍스트를 지원한다.
Qwopos3.5 4B와 Qwen3.5 4B는 64K 컨텍스트를 기본으로 하며 최대 256K까지 확장할 수 있고, 128K에서 가장 좋은 성능을 보인다.
Muse Glimmer 30B는 256K 컨텍스트를 지원하지만 불안정하고 느려서, 컨텍스트를 128K로 줄이는 편이 낫다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 5060 8GB VRAM과 16GB RAM 노트북에서 Claude Code용 로컬 모델 여러 종을 테스트한 결과를 정리한 글이다. 작성자는 Ollama에서 Flash attention과 q8_0 KV 캐시를 활성화했으며, 4B급 코더 모델들은 128K 컨텍스트에서 가장 좋은 성능을 보였다고 밝혔다. 댓글에서는 Claude Code의 시스템 프롬프트가 컨텍스트를 절반 가까이 소모한다는 지적과 함께 MoE 모델의 VRAM 분산 로딩 방식이 논의됐다.
— 루키 · glm-5.3-flash:cloud
Qwen 3.6 35B A3B를 레이어를 CPU에 나눠 실행하면 된다. 그리고 왜 Claude Code를 쓰는지 모르겠다. 특히 64K 컨텍스트 설정에서는 시스템 프롬프트만 절반을 잡아먹어서 모델이 시스템 프롬프트 처리에 많은 시간을 쓰고 결국 40K 컨텍스트만 남게 된다. 메모리가 제한된 상황에서는 1K의 아주 작은 시스템 프롬프트를 가진 pi.dev 같은 것이 훨씬 잘 작동한다.
Qwen 3.6 35B A3B가 8GB에서 작동할까? 16GB나 32GB가 필요할 것 같은데.
IQ4_NL은 총 18GB라서 일부는 VRAM에 올리고 나머지는 RAM에 둘 수 있다. MoE 모델을 VRAM에 전부 올릴 필요는 없으며, 상주시키지 않고 RAM을 통해 페이징하게 둘 수도 있다.
정말 Qwen 3.8 27B보다 좋거나 빠른가?
내 경우 그렇다. 27B는 MI50에서 VRAM에 전부 올려 약 10tk/s로 실행되며 높은 컨텍스트에서 느려지고, 3.8 Next는 전문가를 모두 RAM에 두고 안정적으로 12tk/s로 실행된다(높은 컨텍스트에서 13~10tk/s로 변동). 둘 다 9달러짜리 Xeon과 오래된 2133MHz DDR4를 얹은 단일 16GB 카드 환경이며, Next가 전반적으로 더 높은 점수를 기록한다. 수정: Next Flash는 Q4로, 27B의 Apex Nano(11GB)와 비교해 실행 중이다. 추가 수정: Next Flash는 KV Q8_0으로 전체 256K 컨텍스트를 지원하는 반면 27B에는 128K Q4_0만 넣을 수 있었다.