Terminal Bench 4.0 공개, 오차 범위를 감안하면 GLM-5.3은 Fable 5와 동급이다
원문 제목 — Terminal Bench 4.0 just dropped, GLM-5.3 is at the same level as Fable 5, accounting for margin of error
📄 전문 번역
Terminal Bench 4.0의 발표와 리더보드가 공개되었다. 발표에서 가장 좋은 점은 새 모델 출시 속도를 따라가 벤치마크 포화에 맞서기 위해 TerminalBench를 빠르게 반복 개선한다는 점이라고 작성자는 평가했다. 이와 관련해 코딩 에이전트나 자신의 하네스를 벤치마킹할 더 저렴하고 작은 대안이 없을지도 물었다.
이런 대형 벤치마크는 5~10B 토큰을 소모하기에 대다수 사람에게 경제적으로나 계산 자원 면에서 감당이 되지 않는다. 일반 코딩 작업에서 자신의 스킬, 하네스, 도구가 토큰 사용량과 성공 확률에 어떤 변화를 주는지 객관적으로 측정하려면, 매 실행 수십억 토큰 없이도 대략적 방향이라도 잡아줄 방법이 반드시 있을 것이라는 문제의식이 제기되었다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Terminal Bench 4.0 발표에서 오차 범위를 감안하면 GLM-5.3이 Anthropic의 Fable 5와 동급이라는 소식이다. 작성자는 벤치마크 포화에 대응해 빠르게 반복 개선하는 방향을 높이 평가하면서도, 대형 벤치마크가 5~10B 토큰을 요구해 개인이 감당하기 어렵다고 지적했다. 댓글에서는 GLM-5.3의 평가 비용이 2,700달러로 GPT-5.6 Sol의 2,500달러보다 비싸고 토큰 소모도 거의 두 배라는 분석이 나왔고, 초당 토큰보다 작업당 비용과 효율을 봐야 한다는 의견이 이어졌다.
— 루키 · glm-5.3-flash:cloud
실제 비용도 함께 고려하는 게 중요하다고 본다. GPT-5.6 Sol(2,500달러)보다 더 많은 2,700달러가 들었다. 성능이 약간 더 좋긴 하지만 거의 두 배에 가까운 토큰을 소모했다. 편집: 흥미롭게도 버전 3.0에서는 두 모델 모두 비슷한 양의 토큰을 요구했고, 덕분에 GPT-5.6 Sol이…
간과되기 쉬운 지적이다. 사람들은 초당 토큰에 집착하면서, 같은 수준으로 문제를 해결하는 데 어떤 모델은 다른 모델보다 2~3배 많은 토큰이 필요하다는 사실을 종종 무시한다. 작업당 비용이 이를 대변하는 지표이긴 하지만 속도를 반영하지 못하므로 전체 그림은 아니다.
일부 기업은 자사 추론 옵션을 평가할 때 이 부분을 실제로 매우 정교하게 다듬고 있을 것이다. 가격, 장황함, 토큰당 비용, 속도가 모두 결합해 가치를 결정하니까 말이다.