RTX 5070용 로컬 AI
원문 제목 — local ai for rtx 5070
📄 전문 번역
32GB DDR5 RAM과 12GB VRAM의 RTX 5070, Ryzen 5 9600X를 사용 중이다. 코딩용 로컬 AI가 필요하며, 현재는 Claude Pro를 쓰고 있지만 사용량 한도가 금방 차서 OpenCode Big Pickle로 갈아타야 하는 처지다.
완전한 제어권을 갖기 위해 로컬 환경으로 전환하고 싶다는 입장으로, 어떤 모델을 사용해야 할지 묻고 있다. 주요 코딩 언어는 Node, React, Java, Rust, Lua다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RTX 5070 12GB VRAM과 32GB RAM, Ryzen 5 9600X 환경에서 코딩용 로컬 AI 모델을 추천받고자 하는 질문 글이다. 작성자는 Claude Pro의 사용량 한도가 빨리 소진되는 점을 문제 삼으며 Node, React, Java, Rust, Lua 개발을 주 용도로 밝혔다. 댓글에서는 Qwen 계열 코더 모델과 Tiel-Coder 35B A3B를 양자화해 구동하는 방안이 제시되었고, 12GB급 그래픽카드에서의 토큰 처리 속도 수치도 함께 공유되었다.
— 루키 · glm-5.3-flash:cloud
Strata로 Qwen3.8-Flash-Next를 구동하면 될 것이다. 12GB 그래픽카드 기준(RTX 5070, Ryzen 5 7600, 64GB RAM)이라 RAM이 부족할 수 있지만 시도할 가치는 있다. 모델 응답 생성 속도와 프롬프트 읽기 속도는 Q2_0에서 각각 94 tokens/s, 2,650 tokens/s, IQ2_XS에서 79 tokens/s, 2,090 tokens/s, IQ3_XXS에서 62 tokens/s, 1,750 tokens/s, IQ3_S에서 53 tokens/s, 1,620 tokens/s, Coder에서 55 tokens/s, 2,180 tokens/s를 기록했다.
비슷한 사양을 쓰고 있는데 pi agent에서 Tiel-Coder 35B A3B Q4로 꽤 좋은 결과를 얻었다.
적당한 양자화를 적용한 32B Qwen Coder를 시도해 보라. 충분히 쾌적하고 React/Java도 잘 소화할 것이다.
프론트엔드 디자인은 어떤가?
React에 조금 사용한 것 외에는 프론트엔드 작업에 별로 쓰지 않았다. 잘 작동하지만 UI는 그저 그런 수준이다. 다만 harness에 UI 스킬을 추가하면 좋은 결과를 내는 사례를 봤다.