TL;DR - Swift Flash는 과도한 추론을 대폭 줄이는 킬러 모델이니 사용해 볼 것을 권한다. 이전 비교 글에서 밝혔듯 필자는 Swift Qwen3.8 모델의 열렬한 팬이다. 27B가 출시된 이후 계속 사용해 왔으며 성능과 품질에 깊은 인상을 받았고 v1.5는 더욱 뛰어나다. 과잉 사고 감소는 큰 장점이며 실사용과 벤치마크에서 품질이 사실상 동등해 보인다. 시간 절약 효과도 막대하다. UkisAI가 Swift Flash 모델 출시를 계획하고 있다고 알려왔을 때 기대감이 매우 컸다. 해당 모델은 필자의 일상용이자 로컬에서 써 본 최고의 모델이지만, 매우 어려운 문제에서는 3.8-27B보다 더 많이 추론하는 편이다.

필자는 Q5_K_L(Q8_0 engram 포함)을 다운로드해 Unsloth의 Q5_K_XL 기본 모델(역시 Q8_0 engram)과 비교했다. 이는 SSD engram과 262k 컨텍스트 기준 128GB에 안전하게 수용되는 최고 품질 조합이며, 필자가 구성할 수 있는 한 가장 공정한 비교라고 생각한다. 평소처럼 모든 모델에 적용하는 동일한 Aider 에이전틱 코딩 벤치마크를 돌렸고 첫 시도 및 재시도 통과율, 중앙값 토큰 사용량, 소요 시간, 토큰/해결, 잘 정형된 diff 비율 등 유용한 데이터를 얻었다. 결과를 보면 Qwen3.8-Flash-Next(xhigh)는 첫 시도 40.2%, 재시도 90.7%, 케이스당 토큰 17646, 케이스당 1542초, tok/solve 24.8K, well-formed diff 98.1%를 기록했다. Swift-1.5-Qwen3.8-Flash-Next(xhigh)는 첫 시도 41.1%, 재시도 86.9%, 케이스당 토큰 6991, 케이스당 608초, tok/solve 10.5K, well-formed diff 100.0%를 기록했다.

보다시피 Swift는 기본 모델과 거의 동일하게 수행한다. 벤치마크 결과에 내재된 노이즈를 감안하면 이 규모의 데이터셋에서는 차이가 통계적 유의성에 미치지 못하며, 현실적으로 약 5% 차이가 유의미한 수준인데 관측된 차이는 4% 미만이다. 첫 시도 통과율에서 보면 Swift는 쉬운 문제를 기본 모델과 같은 비율로 해결하고 재시도가 필요한 가장 어려운 문제에서 다소 뒤처진다. 재시도가 필요한 케이스의 회복률은 기본 모델이 84%인 반면 Swift는 78%에 그쳤다. 토큰 사용량과 소요 시간은 비교가 무의미할 정도로, Swift는 UkisAI의 주장대로 중앙값 토큰의 40%만 쓰고 중앙값 시간의 40% 만에 거의 같은 품질로 작업을 끝낸다. 놀라운 결과이며 그들의 RL/OPD 작업이 증명된 사례다.

특히 가치 있는 통찰이 하나 있다. 기본 모델은 긴 추론 폭주에 자주 빠져 스스로 여러 번 되돌아가지만 Swift는 거의 그러지 않는다. 기본 모델이 가장 많은 토큰을 태운 20개 실행에서 Swift는 29%의 토큰으로 20개 중 16개를 해결했고 기본 모델은 17개를 해결했다. 기본 모델이 가장 많이 추론한 최고 난도 문제에서도 Swift는 품질을 거의 다 유지한다. Swift가 단일 케이스에서 쓴 최대 토큰은 44k로 기본 모델의 203k와 크게 대비된다. 상위 3개 코딩 언어별로 보면 Qwen3.8-Flash-Next(xhigh)는 cpp 23.1%/84.6%, javascript 37.5%/91.7%, python 57.6%/93.9%를 기록했고 Swift-1.5-Qwen3.8-Flash-Next Q5_K_L(xhigh)은 cpp 30.8%/73.1%, javascript 41.7%/93.8%, python 48.5%/87.9%를 기록했다. 기본 모델과의 쌍별 비교(n=107)에서는 99개 일치, 2개 개선, 6개 손실(순 -4)이며 McNemar 정확 검정 p는 약 0.29로 유의하지 않았다. 다시 한번 품질 면에서 통계적으로 구별되지 않는다. C++는 압축률이 가장 높아 기본 모델 토큰 사용량의 29%에 불과하고(python/javascript는 약 46%) 6개 손실 중 3개도 C++에서 발생했으므로 C++를 많이 쓴다면 알아둘 만하다.

어쨌든 이 글은 충분히 길어진 것 같다. 독자 중 일부는 지금쯤 필자의 Swift 버전이 있기를 바랄 수도 있겠다. 도움이 되었기를 바란다. 유용한 모델을 커뮤니티에 공유해 준 u/Secure_Recording_472와 UkisAI 팀에게 감사를 전한다. 이 글은 /u/returnity가 제출했다.