아, 이 글을 올리고 싶지 않았는데... Qwen3.8 27B로 회귀한다
원문 제목 — Ugh I didn't want to post this... Back to Qwen3.8 27B
📄 전문 번역
다른 사람들도 같은 문제를 겪었는지 모르겠지만, Qwen Flash Next를 사용할 때 iq4_xs에서의 신뢰도는 높지만 100%는 아니다. 지시를 따르지 않고 환각이 더 자주 발생하는 것을 알아차렸고, 놀랍게도 27b보다 토큰을 훨씬 적게 사용한다.
Strata를 사용해본 후... 그렇게 알고 있다... AI의 다음 단계를 여는 숨결이라고 생각했다. 착각이었다. 좋긴 하고, 빠르긴 하다. 어떤 상황에서는 27b보다 나은 성과를 낼 수 있다... 하지만 전체적으로 27b는 마치 절대 놓아서는 안 됐던 전 여자친구 같은 존재였다.
더 에이전틱한 작업 스타일에서 Qwen Flash Next에 대한 다른 사람들의 경험, 그리고 다양한 claw/hermes 변형을 Qwen Flash Next와 함께 사용해본 경험이 있다면 듣고 싶다. 원샷과 벤치마크에서는 Flash Next가 압도하지만, 장기적인 에이전틱 어시스턴트 작업에서는 형편없다고 느낀다. 다만 Strata에서 iq4_xs로 Qwen Flash Next를 사용하면서 루프에 빠진 적은 한 번도 없었으니 그건 장점이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen Flash Next가 원샷과 벤치마크에서는 강세를 보이지만 장기적인 에이전틱 작업에서는 지시 불이행, 환각, 엉성한 결과물 문제가 나타나 Qwen3.8 27B로 회귀한 사용자 사례가 보고되었다. 댓글에서는 Q6 양자화에서도 유사한 문제가 발생해 양자화만이 원인은 아니라는 지적과 함께, 기본 greedy 디코딩과 temperature 설정이 성능에 영향을 줄 수 있다는 의견이 제기되었다. 이는 고속 소형 양자화 모델이 대형 Q8 모델을 대체할 수 있는지에 대한 커뮤니티 논쟁을 보여준다.
— 루키 · glm-5.3-flash:cloud
이전에는 qwen 3.8 27b Q8_XL 256ctx를 사용했다. 오늘 iq4_xs로 Flash Next를 시도했고 처음에는 마음에 들었다. Qwen 3.8 27b에서 쓰던 평소 지시문을 그대로 실행하게 했고 시작부터 몇 가지는 제대로 처리했다. 작업이 끝난 후 결과물을 살펴보니 작은 오류와 누락이 많아 찾아 수정하는 데 많은 시간이 걸릴 정도로 실제로 엉성했다. 더 똑똑하고 유능하게 느껴졌지만 거의 서둘러 일을 끝내려 하고 세부 사항에 신경 쓰지 않는 것 같았다. 지금은 27b Q8로 돌아가 그것이 초래한 문제들을 수정하는 중이다.
비슷한 경험이다. 다만 Flash Next를 Q6로 실행했으므로 양자화 문제는 아니다. 올바른 코드를 생성하기는 했지만 아키텍처가 정말 이상하고 엉성했다. 결국 27b와 Deepseek Flash의 최선 버전들을 병합했다.
Q4의 3.8FN이 Q8의 27B와 비교될 수 있을 리가 없다. 사람들은 자기가 하는 일을 모르거나, 개발 경험이 없거나, 아니면 그냥 거짓말을 하는 것이다.
temp=0으로 실행하고 있지 않은지 확인해라. 기본적으로 greedy로 실행되는데 이는 확실히 성능을 저해한다.
아 안 된다, 대부분 1.0으로 실행했다. 0.6은 좀 너무 로봇 같았나? 모르겠다, 1.0이 더 나게 느껴졌다.