스톡 템플릿과 비교해 Fixed 템플릿과 Sharp 템플릿을 찬양하는 게시물이 많이 보여 직접 테스트를 진행했다. 논문 수준의 분석만큼 방대하지는 않지만 각 템플릿의 특징을 보여준다. 테스트 환경은 SWE-bench Verified에 mini-SWE-agent 2.4.6을 사용했으며 slice 0:100(모든 실행에 동일한 100개 태스크)으로 구성했다. 하드웨어는 CPU Ryzen 9 9900X, RAM 128GB DDR5-5600, GPU RTX PRO 6000 WS다.

런타임은 jpezzulli/sglang-rtxpro6000을 컨테이너화해 CUDA 13.3에서 RadixArk/Qwen3.8-Flash-Next-NVFP4로 Flash Next를 구동했다. 전체 262K 컨텍스트, BF16 KV 51.2GB, FP8 n-gram 임베딩 테이블을 RAM에 고정했고 32GB HiCache도 RAM에 고정했다. 모든 템플릿을 medium과 xhigh 추론 노력 수준에서 실행했다.

결과를 보면 해결 태스크 수는 스톡이 medium 91개에서 xhigh 99개로 +8 증가했고 Fixed는 87개에서 98개로 +11 증가했으며 Sharp는 94개에서 94개로 변화가 없었다. 해결률은 각각 91%에서 99%(+8pt), 87%에서 98%(+11pt), 94%에서 94%(+0pt)였다. 중앙값 출력 토큰은 스톡 5,691에서 13,855(+143.5%), Fixed 6,956에서 14,819(+113.0%), Sharp 8,596에서 12,008(+39.7%)로 늘었고, 중앙값 추론 토큰은 각각 3,050에서 8,759(+187.2%), 3,809에서 9,063(+137.9%), 5,437에서 7,967(+46.5%)를 기록했다. 중앙값 소요 시간은 스톡 38초에서 1분 46초(+180.4%), Fixed 43초에서 1분 47초(+152.3%), Sharp 1분에서 1분 32초(+53.4%)였으며, 총 소요 시간은 스톡 1시간 47분 1초에서 4시간 31분 22초(+153.6%), Fixed 1시간 59분 53초에서 4시간 4분 52초(+104.3%), Sharp 2시간 29분 18초에서 3시간 11분 36초(+28.3%)였다.

핵심 요약으로, 추론 노력을 xhigh로 올리면 스톡과 Fixed의 Sharp 대비 격차가 거의 모두 해소된다. medium에서는 Sharp가 스톡보다 +3개, Fixed보다 +7개 많이 해결했지만 xhigh에서는 오히려 스톡과 Fixed가 각각 +5개, +4개 앞선다. Sharp는 토큰과 시간 비용이 실제로 증가했음에도 해결률이 94에서 94로 거의 움직이지 않았고 중앙값 추론 토큰은 +46.5%, 중앙값 소요 시간은 +53.4% 증가했다. 이는 Sharp가 medium에서 이미 추가 추론 예산으로 얻을 수 있는 이득을 대부분 뽑아낸 반면 스톡과 Fixed에는 여유가 남아 있었음을 시사한다. Sharp는 xhigh에서 해결 태스크당 토큰 효율이 가장 높은 템플릿으로 남아 있지만(해결당 14,541 출력 토큰, 스톡과 Fixed는 약 17,000) 추론 노력이 높아지면 더 이상 최고 해결률 템플릿은 아니다. 절대 비용은 추론 노력에 따라 크게 증가해 총 소요 시간은 스톡과 Fixed가 약 2.3~2.5배, Sharp는 +28%였고 총 추론 토큰은 스톡과 Fixed가 약 2배, Sharp는 +35% 늘었다.

결론적으로 Sharp는 medium에서 사용해야 하며 매우 좋은 속도로 합리적인 정확도를 유지한다. xhigh에서 사용할 이유는 보이지 않는다. 약간의 정확도를 희생하는 대신 절반의 시간으로 태스크를 완료할 수 있다. 스톡은 가장 느리지만 가장 정밀하고 Fixed는 정확도와 속도 모두에서 스톡과 Sharp의 중간 지점이다. 다음 벤치마크는 훨씬 방대한 SWE-bench Multilingual + Terminal Bench에서 진행될 예정이다. 참고로 필자가 직접 글을 쓴 뒤 가독성을 위해 AI로 형식을 다듬었다.