Qwen3.8-Flash-Next vs Opus 5.5, Claude Code와 Pi로 실제 Rust 기능을 놓고 벌인 6가지 조합 벤치마크
원문 제목 — Qwen3.8-Flash-Next vs Opus 5.5: Six-way benchmark on a real Rust feature with Claude Code and Pi
📄 전문 번역
지난 글에서 서로 다른 하네스와 effort 수준으로 Flash-Next와 Opus를 비교한 것은 공정하지 않다는 지적이 일부 독자에게서 있었다. 그래서 이번에는 더 통제된 비교를 진행했다. 모든 실행에 동일한 과제를 부여했는데, LlamaStash 로드맵의 실제 기능, 즉 llama-server의 KV 캐시를 언로드 전에 저장하고 모델이 돌아올 때 복원하는 기능이다. 6가지 조합을 각각 두 번씩 실행해 총 12개의 PR을 만들었다. Flash-Next는 Strix Halo 노트북(Flow Z13)에서 Halogen을 통해 약 Q4 양자화로 로컬 구동했다. Opus 5.5, Flash-Next, Kimi K3가 7개 리뷰 질문과 CI를 기준으로 모든 PR을 채점했다.
결과를 보면 Claude Code + Opus 5.5 xhigh 조합이 8점 만점에 6.94(87%), 43.5분, API 비용 17.78달러, 토큰 입력 507k/캐시 48.3M/출력 203k로 1위를 기록했다. Claude Code + Opus 5.5 medium은 6.25(78%), 23.4분, 6.52달러, 242k/13.4M/95k였다. Claude Code + Flash-Next medium은 5.5(69%), 45.3분, 0.32달러, 445k/13.5M/82k였다. Pi + Flash-Next xhigh는 5.44(68%), 63.8분, 0.67달러, 316k/35.0M/134k였다. Claude Code + Flash-Next xhigh는 5.38(67%), 49.5분, 0.39달러, 269k/18.9M/99k였다. Pi + Flash-Next medium은 5.06(63%), 48.1분, 0.56달러, 242k/29.1M/117k였다.
점수는 두 번 실행의 평균값이다. 시간, 비용, 토큰 수치는 프롬프트에 10만 토큰 분량의 벤치마크 수치가 주어진 두 번째 실행 기준이다. Flash-Next 비용은 Qwen3.8-Flash의 QwenCloud 가격 기준으로 환산한 것이며, 실제로는 로컬에서 실행해 전기 요금만 지출했다.
요약하면 12개 실행이 모두 완료됐고 12개 PR 모두 엔드투엔드 테스트를 통과했다. Opus가 더 나은 코드를 작성해 평균 82%를 기록했고, Claude Code + Flash-Next는 68%, Pi + Flash-Next는 66%에 그쳤다. 차이는 엣지 케이스, 테스트, 문서에서 나타났으며 핵심 기능 자체는 잘 동작했다. Opus와 Qwen의 격차는 그리 크지 않았다. Flash-Next는 동일 effort에서 Opus보다 1.1배에서 2.1배 오래 걸렸다. Flash-Next 사용 시 Claude Code와 Pi가 리뷰 질문에서 동일한 점수를 받았다. CI는 Claude Code PR 4개 중 4개, Pi PR 4개 중 1개를 통과했다. xhigh는 2.7배 비용을 들여 Opus에 약간의 도움이 됐다. Flash-Next는 medium과 xhigh의 점수가 비슷했고 4쌍 모두 medium이 더 빨랐다. Opus가 여전히 앞서 있지만 Flash-Next는 노트북에서 전기 요금만으로 바로 뒤를 따라붙었다.
두 모델은 같은 리그가 아님을 유의해야 한다. Opus는 FP16 이상, 최소한 FP8로 구동되는 프론티어 모델인 반면 Flash-Next는 노트북에서 4.16 bpw로 실행했다. FP8의 Flash-Next라면 품질이 조금 더 나올 것이다. Flash-Next를 구동한 장비는 전체 기간 동안 70W TDP 상한으로 동작했으며, 90W로 올리면 약간 더 빨랐겠지만 팬 소음과 발열 스트레스를 감수할 가치가 없다고 저자는 설명했다. 상세 방법론과 실행별 결과, 각 모델이 놓친 부분을 담은 전체 글과 12개 PR의 코드는 모두 공개되어 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen3.8-Flash-Next를 Q4 수준 양자화로 로컬 구동해 프론티어 모델 Opus 5.5와 비교한 결과, 두 모델의 격차가 생각보다 크지 않다는 점이 핵심이다. Strix Halo 노트북(Flow Z13)에서 70W TDP 상한으로 전체 작업을 완료한 점은 고용량 UMA 노트북의 로컬 LLM 활용 가능성을 보여준다. 다만 저자는 두 모델이 정밀도와 규모에서 같은 리그가 아니며 FP8 Flash-Next라면 품질이 더 올라갈 것이라고 덧붙였다.
— 루키 · glm-5.3-flash:cloud
Qwen 4 Flash Next를 상상해보라
크기가 비슷해서 최소한 128GB UMA에서 Q4에 들어가기를 정말 바란다
나도 그렇다. 새로운 양자화 방식이 벤치마크 등급을 보존해 주는 덕에 QFN은 64GB RAM에도 가장 잘 맞는다
그리고 라이선스도
나는 두 달 전에 Claude 구독을 끊었다. Opus가 제공하는 추가 속도와 소폭의 능력 향상이 구독료만 한다고 생각하지 않았다. Flash는 Q3_S에서도 매우 좋다. Qwen 4 flash가 파라미터 수를 크게 늘리지 않기를 바랄 뿐이다. 나는 무제한 토큰으로 원하는 방식대로 작업하는 것을 선호한다. 8시간 풀 세션을 하고 싶을 때 어리석은 제한 때문에 5시간에 강제로 멈추고 싶지 않다. 또한 LLM을 WireGuard VPN 뒤의 고객 대면 애플리케이션에 사용하는데, Anthropic을 쓴다면 API 사용료를 내야 할 일이다.