ThinkingCap-Qwen3.8-27B의 출시를 계기로 원본 Qwen3.8-27B, 새로운 ThinkingCap, 그리고 Swift-Qwen3.8-27B를 비교해볼 가치가 있다고 판단했다. 이미 리뷰한 바 있는 Swift와 ThinkingCap은 정확히 같은 일을 수행한다. 바로 3.8-27B의 악명 높은 과도한 추론 루프를 줄이는 것이다. 실제로 두 모델의 주장은 거의 동일하다. 두 모델 모두 성능 저하를 최소화하면서 추론 토큰을 약 40% 줄인다고 주장하며, 필자는 이 주장을 직접 검증해보고자 했다.

필자는 지금까지 약 20개 모델을 테스트하며 모델 간 뚜렷한 격차를 보여준 표준 Aider 평가 스위트를 사용했는데, 이 평가에서 90%를 넘긴 모델은 Qwen3.8-Flash가 유일했다. 이 평가에서는 pass1/2, 완료 토큰, 케이스당 소요 시간, solve당 토큰, 모델 시도 중 형식이 올바른 diff 비율 등 여러 유용한 지표를 측정할 수 있다. 모델당 2회씩 실행한 결과이며 오차 범위는 최대 ±2~3% 수준이다. 세 모델 모두 llama.cpp 0.5.0에서 Q8_0으로 평가했다. ThinkingCap-Qwen3.8-27B(xhigh)는 첫 시도 통과 27.1%, 재시도 통과 77.6%, 형식이 올바른 diff 100.0%, 중간값 토큰 7436, 케이스당 777초, solve당 1.28만 토큰을 기록했다. Qwen3.8-27B(xhigh)는 각각 27.1%, 77.6%, 99.1%, 12547, 1481초, 1.93만 토큰이었고, Swift-Qwen3.8-27B(xhigh)는 30.8%, 75.7%, 98.1%, 7301, 750초, 1.21만 토큰이었다.

놀랍게도 ThinkingCap과 순수 27B의 점수가 완전히 동일하게 나왔다. 같은 모델의 2회 실행조차 동일한 점수를 기록한 적이 없던 필자로서는 이를 완전한 우연으로 봐야 한다. 다만 이 결과는 BottlecapAI의 최소 성능 저하 주장을 확실히 뒷받침한다. Swift는 다른 두 모델 대비 잡음 수준 내에서 단 2% 낮았지만 첫 시도 통과율은 둘 중 어느 것보다도 높았다. 클로드의 표현을 빌리면 진짜 이야기는 완료 토큰이다. 파인튜닝된 두 모델 모두 원본 대비 중간값 완료 토큰이 약 5천 개 적었으며, 이는 모델 카드가 주장한 40% 감소와 거의 정확히 일치한다. ThinkingCap은 solve당 토큰을 약간 더 써서 Swift보다 조금 더 오래 걸리지만 이 역시 몇 퍼센트 차이에 불과하다. 차트에는 보이지 않는 차이점으로, 중간값은 같지만 평균 완료 토큰에서 ThinkingCap이 8.5% 더 많이 사용한다. 꼬리가 길어 여전히 크게 과추론하는 케이스가 더 많은 반면 Swift는 추론 토큰 사용을 더 균일하게 줄였다. 또한 두 모델 모두 풀이에 성공한 케이스보다 실패한 케이스에 더 많은 토큰을 쓰는데, 이는 Swift(실패 1.32만 대 성공 5900)가 ThinkingCap(중간값 9400 대 6800)보다 더 두드러진다. ThinkingCap이 더 쉽게 포기하는 것일까, 아니면 진 판을 아는 것일까.

이 두 훌륭한 파인튜닝을 구분하려면 더 세분화된 성능을 들여다봐야 한다. 프로그래밍 성능에서 둘을 가르는 언어는 3개 있다. ThinkingCap-Qwen3.8-27B(xhigh)는 C++에서 11.5%/61.5%, 자바스크립트에서 35.4%/85.4%, 파이썬에서 27.3%/78.8%를 기록했다. Qwen3.8-27B(xhigh)는 C++ 7.7%/69.2%, 자바스크립트 27.1%/81.2%, 파이썬 42.4%/78.8%였고, Swift-Qwen3.8-27B(xhigh)는 C++ 11.5%/69.2%, 자바스크립트 37.5%/81.2%, 파이썬 36.4%/72.7%였다. 보다시피 ThinkingCap은 C++에서 Swift에 크게 뒤처져 pass2에서 8% 차이를 냈다. 그러나 자바스크립트와 파이썬에서 각각 4%, 6% 앞서며 그 격차를 만회했다. 특정 언어를 다른 언어보다 많이 사용한다면 주목할 만한 차이다. Aider의 나머지 언어에서의 성능은 통계적으로 유사했다(p > 0.05).

마지막 차이점 하나. ThinkingCap은 형식이 올바른 diff에서 완벽한 점수를 받은 유일한 모델이다. 오류 출력도 형식이 잘못된 응답도 전혀 없었던 반면 다른 두 모델은 여러 건을 기록했다. 어쨌든 이 글이 둘 다 내세운 기능을 실제로 수행하는, 잘 만들어진 이 두 파인튜닝 사이에서 고민하는 이들에게 도움이 되길 바란다. 수정: Swift Flash Next가 출시됐다. 필자와 함께 Unsloth UDv3 양자화를 요청해주길 바란다.