수정: 혼란스러운 제목에 사과한다. 이 모델은 UkisAI의 Swift-Qwen3.8-27B이지 BottleCap AI의 3.6-ThinkingCap의 새 버전이 아니다. 훌륭한 파인튜닝을 만든 UkisAI에게 모든 공이 돌아가며, 필자는 그 작업을 축하하기 위해 이 게시물을 작성했다. 제목에서 다른 모델을 언급한 것은 무례할 의도가 전혀 없었다. Qwen 모델을 사랑한다는 것이 소수 의견은 아닐 것이라 생각하지만, 과도한 추론(overthinking)은 큰 시간 낭비다. 3.6-27B에서도 심각했고 3.8에서는 더 심해졌다. '그렇기에 좋은 성능/크기 비율을 달성하는 것'이라고 반박하는 이들도 있었지만, 이제 그것이 사실이 아님을 보여주는 확실한 증거가 등장했다. 바로 UkisAI의 Swift-Qwen3.8-27B다.

이 모델은 Qwen3.6-27B ThinkingCap에서 영감을 받은 것으로 보이며, 필자가 3.8 시리즈로 갈아타기 전 일상용으로 쓰던 3.6-27B 버전이기도 하다. ThinkingCap은 원본 모델과 대등한 벤치마크 및 전반적 성능을 약 40% 적은 토큰으로 달성하는 27B 파인튜닝이다. 실제로 효과가 있는 파인튜닝 중 하나로, 필자는 수개월간 문제없이 매일 사용하며 셀 수 없이 많은 시간을 아꼈다. 인상적인 성능에도 불구하고 너무 느린 3.8의 유사 버전이 나오기를 기다려 왔지만 아직 없었는데, UkisAI 역시 그 모델을 즐겨 썼던지 스스로 후속작을 내놓기로 한 모양이다.

이들은 'Qwen의 추론 롤아웃에서 과도한 추론을 유발하는 추론 마커 토큰'을 식별해 강화학습(RL)으로 페널티를 부과했고, 그 결과 과도한 추론 오류가 줄었다. 또한 'BottleCap AI의 ThinkingCap-Qwen3.6-27B에서 파생된 전이 컴포넌트'도 활용했다. 최종 결과는 여러 벤치마크에서 동일 품질의 출력을 평균 30~50% 적은 추론 토큰으로 달성하는 것이다(전체 내역은 모델 카드 참조). 이 주장이 상당히 인상적이라 필자는 자체 사용 사례와 Aider를 평가 스위트로 쓴 코딩 벤치마크(두 모델 모두 Q8_0)에서 이들의 주장과 모델 품질을 독립적으로 검증했다.

지표별 비교(Swift-Qwen3.8-27B 대 Qwen3.8-27B): Pass1(%) 30.8 대 27.1, Pass2(%) 75.7 대 77.6, 잘 형성된 diff(%) 98.1 대 99.1, 완료 토큰 7,301 대 12,547, 케이스당 소요 시간(초) 750 대 1,481, 솔루션당 총 토큰 12.1k 대 19.3k.

보다시피 이들의 주장은 사실로 드러났다. Swift는 63%의 토큰으로 약 절반의 시간에 동등한 성공률을 달성했다. 이는 3.8-27B 사용자에게 큰 승리다. 응답이 길어질수록 디코드 속도가 점점 떨어지기 때문에, 토큰 수가 3.8-27B의 3분의 2 수준에 가까운 데 비해 시간은 절반으로 줄어든 것이다. 어쨌든 필자의 글은 지나치게 길어지는 편이라 여기서 줄이겠다. 이 모델로 평가 스위트를 마치고 너무 흥분한 나머지 공유하고 싶었다.