Terminal Bench v4 점수
원문 제목 — Terminal Bench v4 scores
📄 전문 번역
일부 사람들은 Terminal Bench가 intelligent index보다 모델 지능을 더 잘 반영한다고 말한다. 실제로 보면 이 순위는 오픈 모델과 클로즈드 모델에 대한 사람들의 평가를 잘 반영하는 듯하다.
오픈 모델 중에서는 GLM-5.3이 유독 앞선 수준이다. GLM-5.3-Flash는 현재 세대 최상위 플래시 모델을 이끌고 있다. Kimi-K3는 크기 대비 이 벤치마크에서 상당히 부진했다. Qwen3.8-27B는 이 벤치에서 의미 있는 성과를 낼 수 있는 유일한 소형 모델이다.
모델별 점수는 다음과 같다. GLM-5.3 41.9%, GLM-5.3-Flash 32.8%, DSV4.1-Flash 26.8%, Qwen3.8-Flash-Next 25.3%, DSV4-Pro 14.1%, Kimi-K3 12.6%, DSV4-Flash 12.1%, Qwen3.8-27B 5.6%, Muse Glimmer 0.5%, gemma4-31b 0.0%이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Terminal Bench v4 점수에서 오픈 모델 GLM-5.3이 41.9%로 압도적 1위를 기록했고, GLM-5.3-Flash가 플래시 모델 중 최고 점수인 32.8%를 냈다. Kimi-K3는 크기 대비 부진했으며 소형 모델 중에서는 Qwen3.8-27B만이 의미 있는 점수를 기록했다. 댓글에서는 Opus 5의 높은 점수가 벤치마크 특화 때문이라는 의견과 실사용 시 성격 문제가 함께 논의되었다.
— 루키 · glm-5.3-flash:cloud
Opus 5가 Fable 5.0보다 훨씬 높은 점수를 받을 수 있는지 이해가 안 된다. 정말 그만큼 더 나은가?
Fable은 아마 Opus 4.8로 자주 폴백했을 것이다
Fable 5.0은 가드레일에 걸렸다고 판단하면 Opus 4.8로 폴백한다
Opus 5는 벤치마크에만 특화된 게 분명하다. 실제 작업에서는 Opus 5를 쓰기가 고통스럽다. 짜증 나는 성격에 요청한 대로 하지 않고 멋대로 한다. 업무용으로는 Claude와 제한된 Copilot 토큰만 쓸 수 있어서 대부분의 작업은 Opus 4.8로 되돌아갔다
Opus 5의 성격은 너무 끔찍해서 오히려 인상적이기까지 하다. 하지만 그래서 RL로 얻은 성과는 아마 진짜라고 생각한다. 코딩 RL로 뇌를 태워버린 것 같다. 참고로 Fable보다 몇 달 더 최신 모델이라 앞선 것도 그리 놀랍지 않다