중국 모델은 벤치마크와 실제 사용 느낌 사이에 격차가 있다고 늘 생각한다. 그래도 모델마다 다르고 그 격차도 모두 크지는 않기에, 이 모델을 직접 만져보고 싶다. 상당히 인상적인 벤치마크다.

내 적대적 프로그래밍 언어 벤치마크 기준으로는 주된 차이가 속도인 것 같다. 그래서 사용 느낌도 확실히 다를 것이다. 하지만 Kimi K3.1 Pro는 오픈 웨이트 모델의 새로운 왕이며 Fable 5.1과 동일한 점수를 기록했다. 오픈 모델이라 더욱 인상적이고 흥미롭다.

모든 클라우드 AI 제공업체는 실제로 양자화 로드 밸런싱을 수행한다. 벤치마크 점수 끌어올리기는 풀 양자화 상태에서 이뤄지고, 사용자에게는 그보다 낮은 양자화 수준의 모델이 제공된다.

방금 Terminal Bench 4가 깨졌다는 보고가 있었고, HLE 대부분이 깨진 탓에 새 버전인 HLE - Diamond도 나왔다. 연구소들이 업데이트된 벤치마크를 써주길 바랄 뿐이다. 어쨌든 연구소가 게시하는 벤치마크는 항상 자신들에게 유리하게 보이며, 오픈 모델은 클로즈드 모델보다 특정 분야 편차가 큰 경향이 있다는 점을 상기할 필요가 있다. 이미 사람들이 Astra를 증류했다고 말하는 것을 본다(더 이상 Claude를 제대로 증류할 수 없기 때문이다). 하지만 프런트엔드/3D 분야에서 실제로 상당히 뛰어나 어쩌면 SOTA급일 수 있다는 의미에서 편차가 크다 해도 놀랍지 않을 것이다(반면 OpenAI는 왜 자기 모델을 못 만드는지 모르겠다).

그건 잘 모르겠다. 어셈블리/임베디드 리버스 엔지니어링 작업에서 Kimi로 아주 좋은 결과를 봤다. Opus보다 다소 장황한 느낌이 있지만 실제로는 작업을 거절하지 않는다.