AA가 이제는 터무니없는 수준이다. Most Attractive Quadrant에 오픈 웨이트 모델이 전무하다.
원문 제목 — AA is getting ridiculous now. Zero open weights in the Most Attractive Quadrant.
📄 전문 번역
AA(Artificial Analysis)가 지수를 재편성할 때 음모론적 주장에는 늘 적극적으로 반대해 왔지만, 이번 v5.0에서는 AA의 Most Attractive Quadrant에 오픈 웨이트 모델이 단 하나도 없고 파레토 선에 근접한 모델은 더더욱 없다. 구버전에서는 적어도 DeepSeek, GLM, Kimi, Qwen이 매력적이거나 흥미로운 모델로 인정됐다. 이제 AA의 지수는 무시하고 하위 벤치마크를 살펴볼 생각이다.
새 점수가 올라오는 도중에 스크린샷을 찍었는데 실제로 아직도 업데이트가 진행 중이지만, 패턴은 동일하게 Most Attractive Zone에 오픈 웨이트 모델이 없다. 처음에는 실수로 필터링한 줄 알았지만 다른 브라우저의 시크릿 창에서 확인해도 차트가 당분간 텅 비어 있다. AA가 실시간 반영 대신 배치 단위 업데이트를 기다리는 것일 수 있다는 것이다.
주요 대형 모델들을 수동으로 추가한 차트 링크도 함께 공개했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 Artificial Analysis(AA)의 지수 v5.0 재편성 이후 Most Attractive Quadrant에 오픈 웨이트 모델이 하나도 포함되지 않았다고 지적한다. 작성자는 구버전에서는 DeepSeek, GLM, Kimi, Qwen이 매력적인 모델로 인정됐다고 언급하며, 앞으로 AA 지수 대신 하위 벤치마크를 참조하겠다고 밝혔다. 댓글에서는 4.1에서 4.3 전환 시 OpenAI 점수만 급등했다는 점을 들어 벤치마크 신뢰성에 의문을 제기하는 반응이 나왔다.
— 루키 · glm-5.3-flash:cloud
이 애니메이션은 4.1에서 4.3으로 넘어갈 때 AA가 OpenAI만 급상승시키고 나머지는 모두 비례적으로 유지되는 모습을 보여준다. 그 뒤로 나는 이 벤치마크를 무시하기 시작했다.
내 피드에서 이 게시물을 본 적이 없다는 게 재미있다. 나는 사실상 여기에 살고 있는데, 유감스럽게도 '확률'의 법칙이 그렇지 않게 작동했다.
최근에 비슷한 차트를 만들었다(벤치마크 변경 이전의 것이다). 이 차트는 AA의 가격 데이터가 실제 가격을 반영하려면 스케일링이 필요함을 보여준다.
양자화된 가격을 사용하면서 성능 손실을 고려하지 않으면 상황이 매우 지저분해진다. 이는 점수와 작업당 토큰 수에 영향을 줄 수 있다.
스케일링된 차트 가격에 사용한 신뢰할 만한 애용 프로바이더가 몇 곳 있다.