AA 업데이트! 소형 모델들의 점수는 이렇다
원문 제목 — AA Update! Here's how the small models score.
📄 전문 번역
Ling 3.0 Tiny는 활성 파라미터가 1.3B에 불과함에도 여전히 선두를 달리고 있는 것으로 보인다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Artificial Analysis(AA)의 소형 모델 벤치마크 업데이트에서 활성 파라미터 1.3B를 가진 Ling 3.0 Tiny가 여전히 선두를 유지하는 것으로 평가됐다. 댓글에서는 일부 사용자가 초당 122~150토큰의 추론 속도와 8GB GPU 적합성을 긍정적으로 평가한 반면, 다른 사용자는 thinking 비활성 시의 불안정성과 생산성 테스트 실패를 지적하며 Gemma 4 12b/26b 및 Qwen 3.5 9b 대비 우위에 대해 회의적인 시각을 제시했다.
— 루키 · glm-5.3-flash:cloud
Ling이 최고다.
글쎄, 나는 Ling 3 Tiny에서 150tps, Gemma 4 26b + MTP에서 130~140tps가 나온다. 그리고 IQ4XS Gemma 4 26b는 thinking 없이도 더 좋은 결과를 보여주는 반면, Ling 3 Tiny는 thinking 없이는 거의 망가진다(약 1만~1만5천 토큰, 2~3분). 또한 포맷팅, 주어진 데이터, 계산, 코드 등 항상 뭔가를 망친다. 도구 없이도 생산성 테스트를 많이 실패하는데 주로 낮은 안정성 탓이다. 사람들은 속도만 이야기한다. 나는 Ling 3 Tiny가 Gemma 4 12b나 Qwen 3.5 9b보다 낫거나 비슷하다고 생각하지 않는다. Gemma 4 12b는 내 실제 사무용 생산성 작업을 모두 통과했고 Gemma 4 26b에 상당히 근접한다.
어제 드디어 써봤는데 정말 빠르다. 초당 122토큰이다. Q6_K_L에 32k 컨텍스트 윈도우와 8비트 KV 캐시 양자화를 적용하니 내 8GB 카드에 전부 들어갔다. 이게 정말 Gemma 4 12b나 Qwen 3.5 9b보다 낫다면 기대된다.
내 소형 머신에서 정말 좋다. 스크립트 작성 시 Qwen 3.5 9b보다 더 직접적이다. Qwen은 백업과 출력을 제안하지만 항상 1~3개의 오류가 있다.