AI 에이전트용 로컬 LLM, 무엇을 써야 할까
원문 제목 — Local LLMs for AI Agents
📄 전문 번역
로컬 LLM을 내 머신에 세팅하려 한다. 목표는 Qwen Code나 OpenCode와 함께 써서 작거나 중간 규모, 너무 크지 않은 작업을 돕는 것이다. 여러 가지 Qwen 모델 변형을 테스트했지만 VRAM에 들어가지 않아 매우 느리거나 아예 동작하지 않았다. VRAM에 온전히 들어가는 더 작은 모델들도 시도했지만 툴 호출 따위에서 실패했다. 사양은 i9 Ultra 285H, RTX 5070 8GB, 64GB DDR5다. VRAM이 좀 낮다는 것을 알지만 필요에 맞는 모델이 있는지 조언을 구한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 5070 8GB 환경에서 코딩 에이전트용 로컬 모델을 찾는 질문 글이다. 글쓴이는 큰 Qwen 모델은 VRAM에 안 맞아 느리고, 작은 모델은 툴 호출에 실패한다는 딜레마를 호소했다. 댓글 조언을 받아들여 llama.cpp의 --cpu_moe 옵션과 Qwen3.6 35B-A3B Q6_K, 131K 컨텍스트 구성으로 전환한 결과 23토큰/초(컨텍스트가 무거워지면 18토큰/초)를 기록했다는 후속 보고가 이어졌다. MoE 전문가를 CPU에 오프로드하는 방식이 8GB급 장비에서 대형 모델 구동을 가능하게 한 실사용 사례다.
— 루키 · glm-5.3-flash:cloud
cpu_moe로 q6에서 23토큰/초면 훌륭한 자리다. 다만 131k에서 KV를 조심해라. 캐시에 상한을 두지 않으면 그것만으로 전문가(expert)들이 다시 GPU로 밀려날 수 있다.
DM 보냈다.
다른 댓글러의 제안대로 오늘 세팅을 바꿨다. 이제 llama.cpp에 --cpu_moe, Qwen3.6 35B-A3B Q6_K, 131K 컨텍스트를 쓰고 있으며, qwen code 대신 opencode로도 갈아탔다. 23토큰/초가 나오고 컨텍스트가 무거워지면 18토큰/초까지 떨어진다. 결과가 놀라울 정도여서 정말 만족한다.
좋네, 도움이 됐다니 기쁘다!
고맙다는 말을 전하고 싶었다. llama.cpp에 --cpu_moe와 Qwen3.6 35B-A3B Q6_K로 옮겼고(간단한 작업용 Q4 버전도 갖고 있다), 이제 모든 게 완벽하게 동작한다. Q6에서 23토큰/초이며 걸리는 시간에 전혀 불만이 없고 결과도 정말 훌륭하다.