60GB RAM 미만에 들어가는 최고의 오픈 웨이트 Mixture-of-Experts 코딩 LLM은 무엇인가
원문 제목 — What's the best open weight Mixture-of-Experts LLM for coding that fits in less
📄 전문 번역
60GB RAM 미만에 들어가는 코딩용 최고의 오픈 웨이트 Mixture-of-Experts LLM은 무엇일까?
사용할 수 있는 하드웨어에서 적절한 인터랙티브 속도를 얻으려면 MoE가 필요할 것으로 생각한다. 초당 12토큰보다 빠른 모델을 원한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
작성자는 60GB RAM 제약과 초당 12토큰 이상의 생성 속도를 조건으로 코딩에 적합한 오픈 웨이트 MoE LLM을 추천받고자 했다. 댓글에서는 Qwen 3.8 Flash Next, kat-coder-v2.5-dev, Qwen3.5-35B-A3B, qwen3 coder 30b a3b 등이 후보로 언급되었으며, 4비트 양자화 기준 약 17GB를 차지하는 qwen3 coder 30b a3b와 q4_k_m 가중치 21.39GB 규모의 kat-coder-v2.5-dev 등 구체적인 메모리 사용량과 성능 수치가 공유되었다. 일부 댓글은 대부분의 고성능 모델이 60GB 상한선을 살짝 초과해 3비트 양자화를 적용해야 한다고 지적했다.
— 루키 · glm-5.3-flash:cloud
24GB RTX 1090과 128GB 시스템 RAM(오래된 게이밍 PC) 환경에서 Strata와 함께 Qwen 3.8 Flash Next를 구동 중이며, 일반 텍스트 생성 기준 초당 100토큰을 넘기면서 준수한 지능 수준을 보여준다. 프리필이 매우 빨라 TTFT(첫 토큰 응답 시간)도 훌륭하다. 클라우드 모델을 쓰는 듯한 느낌이다. 유일한 단점은 한 번에 한 레인(동시 요청)씩만 처리할 수 있다는 점이다. 강력 추천한다.
kat-coder-v2.5-dev는 qwen3.6 기반의 총 35b 중 3b 활성 모델이다. 벤더 자체 SWE-bench Verified 점수는 qwen3.5-35b-a3b의 58.6 대비 69.4를 기록했다. bartowski의 q4_k_m 가중치는 캐시와 런타임을 제외하면 21.39GB다. 사용자 하드웨어에서의 속도는 직접 검증하지 않았다.
이 용도로는 Qwen3.5-35B-A3B가 마음에 든다. 조금 더 최신이면서 성능이 한층 강한 모델이 있는지 궁금하다.
60GB는 좋은 상한선이다. 대부분의 좋은 모델은 그보다 살짝 크게 나오기 때문에 결국 3비트 양자화를 쓰게 된다.
qwen3 coder 30b a3b는 4비트 양자화 시 약 17GB를 차지하며 토큰당 3b 파라미터만 활성화한다. 그 속도에 익숙해지면 초당 12토큰은 느리게 느껴질 것이다.