동료 개발자에게 조언을 구합니다
원문 제목 — Fellow developer need help
📄 전문 번역
현재 MSI RTX 3060 12GB LHR 카드를 쓰고 있으며, 더 큰 모델을 로컬로 돌리고 싶다. 지금까지 코딩에는 Gemini 3.6 Flash를 사용했지만 회사가 걸어놓은 사용 제한이 시간과 작업 흐름을 갉아먹어서, 로컬 LLM으로 갈아타고 가끔씩 Gemini의 도움을 조금 받는 방향으로 계획 중이다.
여러분은 파이썬 코딩과 플러터 코딩에 어떤 LLM을 쓰는지 궁금하다. 정확히 말하면 코드 전체를 LLM에 넘기지 않고 단계별로 만들어가는 방식이라 작은 컨텍스트 크기도 괜찮다. 아주 구체적인 지시를 준다. 예컨대 'CRM 만들기를 시작하자. 먼저 사용자 추가 부분이 들어간 대시보드부터 만들자(어디까지나 예시)' 같은 식이고, 이 부분에 만족하면 앱의 다른 부분을 코딩한다.
더 큰 모델을 위해 RX 7900 XTX 24GB를 구매할 계획이다. 조언을 부탁한다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
RTX 3060 12GB에서 벗어나 더 큰 모델을 로컬로 구동하기 위해 RX 7900 XTX 24GB 구매를 고민하는 개발자의 질문글이다. 작성자는 코드를 단계별로 나눠 구체적인 지시를 내리는 방식이라 작은 컨텍스트로도 충분하다고 밝혔다. 댓글에서는 Qwen 3.8 27B와 Ornith 1.5 9B의 양자화 버전, 5GB RAM으로 GLM 5.3 Flash를 구동하는 warp, codestral 22b와 qwen 2.5 coder 32b 등이 추천됐다.
— 루키 · glm-5.3-flash:cloud
12GB 카드에서는 Ornith 1.5 9B Q8 양자화 또는 Qwen 3.8 27B(unsloth) Q2 XL을 시도해 볼 수 있다. XTX에서는 Qwen 3.8 27B Q5 XL을 쓰라고 권한다. 이 조합은 프론티어 opus급 코딩에 필적할 것이다.
warp로 모델을 돌려 보라. 새 도구인데 GLM 5.3 Flash를 놀랄 만큼 쓸만한 속도로 구동하는 데 5GB 정도의 RAM만 필요하다.
warp는 작은 VRAM에 큰 모델을 우겨 넣기에 꽤 괜찮다. 하지만 7900 XTX면 24GB가 있어 대부분의 코딩 모델에 충분하다. 파이썬에는 codestral 22b를 쓰고 있는데 잘 맞고, 플러터 작업에는 qwen 2.5 coder 32b도 좋다. 단계별로 접근하는 방식은 영리하며, 모델을…