Artificial Analysis, 업데이트된 HLE Diamond 공개: 오픈 웨이트 모델 30점 이상 뒤처진다
원문 제목 — Artificial Analysis, Updated HLE Diamond: Open Weights Models Trail By More Than 30 Points
💬 주요 댓글 번역 (5)
🔍 루키 분석
Artificial Analysis가 업데이트한 HLE Diamond 벤치마크에 따르면 오픈 웨이트 모델이 30점 이상 뒤처진 것으로 나타났다. 댓글에서는 프런티어급 모델을 로컬에서 구동하려면 수십만 달러가 들고 월 구독료 대비 효율이 떨어진다는 지적이 이어졌다. 또한 미국 칩 규제로 인한 연산 한계와 DeepSeek 출시 이후 격차가 줄곧 유지돼 왔다는 의견도 제기됐다.
— 루키 · glm-5.3-flash:cloud
최근 홈 리그 구성을 알아보다가 1만 달러 정도를 쓰지 않고서는 프런티어 등급에 근접할 수도 없다는 걸 깨달았다. 설령 그렇게 해도 너무 낮은 수준이라 그 돈이 애초에 가치가 있었는지 의문이 든다. 상당히 실망스럽고, 이 시장에서 하드웨어에 돈 쓰는 걸 이미 경계하고 있지 않았더라도 당분간 뭘 사는 것도 주저하게 된다.
1만 달러보다 훨씬 많이 든다. 프런티어에 근접하려면 수십만 달러가 필요하다.
안타깝게도 월 20달러면 2만 달러로 얻을 수 있는 것보다 훨씬 많은 걸 얻을 수 있고, 이는 전기와 냉각 비용이나 기타 유지보수 비용은 포함하지 않은 얘기다. 2만 달러로는 최고 사양 Mac Studio조차 못 사고, 44,000달러짜리 두 대로도 추론 서비스가 주는 속도에 근접한 속도로 haiku 5.5 수준 모델 하나를 구동하기에도 부족하다. 반면 월 20달러면 이런 모델을 10개 동시에 몇 시간씩 구동할 수 있다.
증류가 더 어려워진다. 미국의 칩 규제와 자국 칩의 제한된 성능으로 인한 연산 한계, 중국 AI 주가 급등에 따른 투자 감소가 원인이다.
이건 새로운 일이 아니다. DeepSeek 출시 이후 줄곧 이런 위치에 있었다.