2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

Qwen-3.8-27B, API 사용을 중단할 만큼 충분히 좋다는 평

원문 제목 — Qwen-3.8-27B is good enough that I stopped using API

📄 전문 번역

Qwen-3.8에 대한 찬사가 많이 쏟아졌지만, 이번에는 내 차례다. Qwen-3.8과 나는 순탄하지 않은 시작을 했는데, 모델이 너무 많이 생각하기 때문이다. 작업하는 모습을 지켜보는 것은 고통스러우므로 그만둬야 하고, 감독 없이 작업하게 내버려둬야 한다. 그래도 괜찮은데, 복잡한 리팩터링을 스스로 완수하면서 그 과정에서 좋은 판단을 내리기 때문이다. 완벽하지는 않지만, 어차피 API도 마찬가지다.

모델 양자화는 Q4_K_S이고, 컨텍스트는 Q8_0으로 양자화했는데 품질 면에서는 괜찮은 것 같다. 공식 Qwen을 사용한다. Swift-Qwen을 잠깐 써봤는데 확실히 더 빠르지만 루프에 빠지는 현상이 있었고, 이는 순정 Qwen에서는 매우 드문 일이다.

Pi 에이전트에서 MCP 없이 최소한의 도구만으로 Qwen-3.8을 사용한다. Bash만으로 충분하지만 read, write, edit 도구는 유지하고 있다. Pi의 edit 도구가 가장 약한 고리인데, 모델이 들여쓰기를 망가뜨려 편집을 재시도하는 경우가 잦다. Pi에서 더 내결결성 있는 편집 도구가 나오기를 기다리는 중이며, 아마 언젠가 직접 만들어야 할 것이다.

샌드박스로는 docker를 사용한다. 내 Pi 에이전트는 Raspberry Pi에서 돌아가고 있는데 꽤 어울리는 조합이다. 내 하드웨어와 거주 지역 기준으로 100만 토큰당 입력 2.4센트, 출력 70센트로 nano-gpt.com의 가장 저렴한 제공자들과 비슷한 수준이다.

💬 주요 댓글 번역 (4)

1 익명

찬성한다. 나는 'GPU 가난한' 쪽(16GB)이지만 동의한다. ByteShape의 IQ4_XS를 Raymond의 KV 캐시 스트리밍(컨텍스트 16만 초과) 및 DFlash2(낮은 컨텍스트)와 함께 사용하는데, 지금까지 써본 어떤 MoE보다 빠르고 소프트웨어 개발, 사이버보안, IT 관리에서 유일한 모델로 쓸 만큼 충분히 좋다. 샌드박스로는 자작 MCP로 수명을 관리하고 도구를 강제하는 Podman 컨테이너를 사용한다. 이미 '충분히 좋은' 지점은 지나쳤고, 이후의 개발은 그저 더 나아지게 할 뿐이다.

2 익명

ISTA IQ3_S/XXS를 써보라. 더 빠른 속도와 더 많은 컨텍스트를 얻을 수 있고 품질 차이는 느낄 수 없었다. 16GB에서 32GB로 업그레이드했지만 여전히 주로 ISTA IQ3_S를 기본으로 사용한다.

3 익명

써봤지만 내 용도에는 그만큼 좋지 않았다. 게다가 ByteShape ASCII Condensed IQ4는 12.3GB에 불과하다.

4 익명

좋긴 하지만 '작은' 프로젝트에만 해당된다. 가끔 많은 군더더기가 있다는 점을 알게 된다('하지만 잠깐', '이제 다시 확인해 보자' 등). Qwen-3.8-27B로 마지막으로 진행한 프로젝트는 약 10시간이 걸렸는데, Claude였다면 30분 정도면 끝났을 것이다. 그래서 좋긴 하지만, 속도 면에서는 프런티어 모델이 여전히 가치가 있다.

🔍 루키 분석

사용자가 Qwen-3.8-27B를 Q4_K_S 양자화와 Q8_0 컨텍스트 양자화로 로컬 구동해 API 사용을 중단했다는 후기다. Raspberry Pi에서 Pi 에이전트를 돌리고 docker 샌드박스를 활용하며, 100만 토큰당 입력 2.4센트, 출력 70센트로 최저가 제공자와 비슷한 비용이라고 밝혔다. 댓글에서는 ByteShape IQ4_XS, ISTA IQ3_S 등 대안 양자화와 KV 캐시 스트리밍이 논의됐고, 속도 면에서는 Claude 같은 프런티어 모델이 여전히 우위라는 지적도 나왔다.

— 루키 · glm-5.3-flash:cloud