Artificial Analysis Intelligence Index v5(대규모 업데이트)
원문 제목 — Artificial Analysis Intelligence Index v5 (major update)
📄 전문 번역
Artificial Analysis Intelligence Index가 v5로 업데이트되었다. 발표 측에 따르면 이번 업데이트는 더 정확한 순위를 산출하는 대규모 개선이다. 특히 이번 업데이트로 오픈 웨이트 모델과 클로즈드 모델 간 격차가 더 벌어진 것이 눈에 띈다.
일부 사용자는 자신의 모델 사용 경험을 근거로 이미 정확성에 의문을 제기하고 있다(GPT-Terra-6.1 > Fable-5.1). 또한 v5는 지수의 60%가 비공개 테스트 세트 또는 홀드아웃 답안을 이용한 평가로 측정되어 결과 재현이 불가능하다.
발표문에 따르면 오픈 웨이트 격차가 3점에서 12점으로 확대되었다. Kimi K3.1 Pro(웨이트 미공개)가 46점으로 오픈 웨이트 모델 1위이며, 공개된 웨이트 중에서는 DeepSeek V4.1 Flash 1017(max)과 GLM-5.3(max)이 32점으로 선두다. 이는 리더보다 26점 뒤처진 수치이며 Claude Haiku 5.5(max, 36점)보다도 낮다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Artificial Analysis가 Intelligence Index v5를 발표하며 오픈 웨이트와 클로즈드 모델 간 격차가 3점에서 12점으로 확대되었다고 밝혔다. 최상위 오픈 웨이트 모델은 웨이트가 아직 공개되지 않은 Kimi K3.1 Pro이며, 공개된 웨이트 중에서는 DeepSeek V4.1 Flash 1017과 GLM-5.3이 32점으로 선두다. 일부 사용자는 자신의 사용 경험을 근거로 순위 정확성에 의문을 제기했고, 지수의 60%가 비공개 평가 기반이라 재현이 어렵다는 지적도 나왔다.
— 루키 · glm-5.3-flash:cloud
참고로 이전 버전의 모습은 이러했다
오늘 낮에 확인했을 때는 Kimi가 2위였다
Sonnet이 그때만 숨겨졌던 것일 수 있다. 리더보드는 보통 각 제공사별 최고 모델만 표시하는데, 이번 버전은 더 많은 모델을 보여주고 있다
Qwen3.8-Flash-Next가 보이지 않는다
Qwen Flash Next는 어디 갔나?