나도 같은 경험이었지만 Q4 기준이다. 쉬운 작업조차 제대로 수행하지 못했다. xhigh는 견디기 힘들 정도였고, 그나마 medium은 '빠르게' 동작했다. 지금까지 테스트한 최고의 모델은 Qwen3.8-27B-Ridge-3.7bpw였다. 간단히 설명하면 주문(스펠) 카탈로그가 담긴 코드베이스에서, 코드 어디에도 광역 효과(AOE)라고 표시되지 않은 상태로 그 카탈로그의 광역 효과 주문 목록을 만들어 달라고 codex xhigh와 ridge에 요청했다. Codex는 8분이 걸렸고 온라인에 접속해 위키에서 검색했다. ridge는 medium에서는 해내지 못했다. xhigh에서는 첫 시도부터 부정행위를 해서 다른 플러그인들을 읽고 거기서 주문을 찾아냈다.

그것은 트렌드가 아니라, 말하자면 더 적은 용량으로 비슷한 결과를 얻으려 할 때 자연스럽게 생기는 현상이다. 그것을 달성하는 유일한 방법은 더 특화하는 것이고, 과적합은 그 특화의 극단일 뿐이다.

어떤 하니스를 사용하는지 공유해 주실 수 있을까. 클라우드 모델로 설계와 계획을 잡고 로컬 모델로 코딩을 맡기는 환경을 세팅하려고 한다. open code로 비슷한 것을 만들려 하는데, 클라우드가 주도·조율하고 로컬 모델이 구현을 담당하는 Claude Code 같은 구성인지, 아니면 그런 일을 할 수 있는 VS Code 확장을 쓰는지 하니스와 워크플로 구성에 대해 설명해 주면 감사하겠다.

그나저나 한 가지 확인해 볼 생각이 있는가. 추론 수준을 실험하다가 놀라운 사실을 발견했다. Qwen 3.8 훈련 때 개발자들이 주로 'high' 노력 수준으로 훈련했고, 의외로 기본값인 'medium'에는 훨씬 적은 신경을 쓴 것으로 보인다. 요컨대 나에게는 'high'가 'medium'보다 훨씬, 훨씬 잘 동작한다. medium에서 Qwen은 멍청해지고 토큰을 많이 생성하며, 벌점을 1.08까지 올려야 할 만큼 추론 루프에 빠지곤 한다. 하지만 high 추론 노력으로 전환하면 상황이 급변해 약 2.5~3.0배