AI 레이스: 중국 오픈 웨이트 모델은 미국 클로즈드 모델보다 단 7개월 뒤처진다
원문 제목 — The AI race: China's open-weight models trail US closed models by just 7 months
📄 전문 번역
출처는 필자가 직접 만들어 어제 이곳에 공개한 오픈소스 AI 리더보드 whatmodel.sh다. 모든 점수는 공개된 벤치마크 결과에서 나온 것으로, 1,011개 출처에 걸친 987개 벤치마크의 22,113개 결과이며 각 결과는 게시된 곳과 연결되어 있다. 이 차트는 텍스트 모델 데이터를 사용했으며, 617개 벤치마크에서 1,211개 모델에 대해 수집된 18,755개 결과로 구성된다.
이 가운데 14,436개는 독립 평가 결과다. 저자들이 직접 모델을 실행한 논문들(대부분 ACL Anthology와 arXiv의 CC BY 논문), Epoch AI, LMArena 데이터셋, EvalPlus, EleutherAI 하네스 등이 여기에 포함된다. 나머지 7,677개는 연구소가 자체 모델에 대해 보고한 점수로, 실험실 보고(lab-reported)로 표시된다.
모든 자료는 공개되어 있다. 데이터셋(CC BY-SA 4.0)과 점수 산출 코드(MIT)가 GitHub에 공개되어 있고 CSV 다운로드도 제공된다. 모든 숫자는 출처로 연결되며 각 출처의 라이선스도 기록되어 있다.
인터랙티브 버전에서는 모델을 클릭하면 해당 모델의 점수와 출처를 확인할 수 있다. 유용하다면 GitHub에서 스타를 눌러 달라는 요청도 덧붙였다. 이 글은 레딧 사용자 jakecoolguy가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
레딧 사용자가 직접 구축한 오픈소스 AI 리더보드 whatmodel.sh의 집계에 따르면 중국 오픈 웨이트 모델은 미국 클로즈드 모델보다 약 7개월 뒤처져 있다. 이 리더보드는 1,011개 출처의 987개 벤치마크에서 모은 22,113개 결과를 기반으로 하며, 데이터셋과 점수 산출 코드까지 공개하고 있다. 댓글에서는 7개월 격차를 충분히 놀라운 수준으로 보는 시각과, 오히려 격차가 벌어지는 둔화 신호라는 상반된 평가가 함께 나왔다.
— 루키 · glm-5.3-flash:cloud
설령 2년 차이라도, 구식이 된 것을 소유하는 것과 새것을 빌려 쓰는 것은 전혀 다른 문제다.
7개월 전 모델들도 이미 매우 강력했으니, 적어도 나에게는 이것이 꽤 놀라운 수준이다.
이건 결코 당신 셋업에 대한 공격이 아니다. 차, 집, 기술 등 세상에는 언제나 더 나은 것이 존재한다. 하지만 이 새 기술(LLM)에 관해 사용자 입장에서 나는 지금 가진 것에 그저 감사할 뿐이다. 상상을 조금 더해 보면 지금 가진 것은 영화 에일리언의 'Mother'다. 더 나은 것이 나올까? 분명 나오겠지만 지금은 'Mother'나 HAL 9000이 있는 것이고, 그게 핵심이다.
동의한다!
이것이 오히려 둔화라는 것 아닌가? 예전에는 오픈 웨이트 클로즈드 소스 모델이 겨우 몇 달 뒤처지는 수준이었는데, 지금은 그 격차가 벌어지기 시작하는 것 같다. 전제로 밝히자면 나는 Anthropic의 거짓말쟁이들이 하는 말은 한 마디도 믿지 않지만, 그들이 주장하는 증류 단속이 사실이라면(가능성은 낮지만) 이런 둔화가 나타나기 시작한 이유를 설명해 줄 수 있을 것이다.