요즘은 왜 15B 미만 모델이 이렇게 드물어졌을까?
원문 제목 — Why do we have models under 15b so rarely anymore?
📄 전문 번역
제목이 곧 요지다. 모든 연구실이 24~27B를 최소 크기로 삼기로 합의한 듯하며, 그 이하 크기의 모델은 내놓지 않고 있다.
SOTA 연구실에서 다음 14B 미만 모델이 언제 나올지 궁금하다는 지적이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 커뮤니티에서 최근 연구실들이 24~27B 이상 크기의 모델만 출시하는 현상을 질문한 글이다. 댓글에서는 소형 모델 제작의 높은 학습 난이도와 비용이 원인으로 지목되었고, MiMo의 RL 학습 비용 사례가 근거로 인용되었다. 반면 Hugging Face에는 최근 4개월간 15B 미만 모델이 지속적으로 출시되고 있다는 반론도 제기되었다.
— 루키 · glm-5.3-flash:cloud
현실적으로 소형 모델을 만드는 일은 여전히 많은 노력이 필요하다. Qwen의 9B 모델들은 3조 토큰 정도의 어마어마한 규모로 학습된 것으로 알고 있으며, 비슷한 학습 토큰 수를 더 넓은 코퍼스에 투입한 대형 모델들이 더 좋은 성능을 내는 것처럼 보인다. Hugging Face에서는 이런 소형 모델 연구가 활발하지만, 로컬 LLM 커뮤니티에서는 모두의 사용 사례가 롱테일 파인튜닝이 핵심인 에이전틱 코딩에 집중되어 있어 관심이 적은 것 같다.
MiMo의 최근 공개 RL 학습 실행을 보라. Flash 모델 학습에 80만 달러 정도가 들지 않았나?
그것은 베이스 모델 생성이 아니라 파인튜닝 실행에 불과했다고 본다.
RL 실행이 맞지만 여전히 시사하는 바가 크다.
최근 Hugging Face를 살펴봤는가? 지난 4개월을 보면 다음과 같다. 6월: Google Gemma 4 12B, LFM 2.5 8B-A1B와 1.2B 일본어 모델, JetBrains Mellum2-12B-A2.5B. 7월: Swiss AI Apertus 1.5 8B, Microsoft Fara 1.5 4B와 9B, Nanbeige 4.2 3B. 8월: Liquid AI LFM2.5 2.6B와 VL 3B, Ling-3.0-tiny, IBM Granite 4.2 3B. 특별 언급: Maple-Preview 20B A1B는 14B 기준을 넘지만 활성 파라미터가 10억뿐이라 토스터에서도 돌아가고 여전히 준수한 성능을 낸다. 9월: 0.9B, 3.7B 등을 포함하는 IFM K2-Horizon 계열.