오픈소스가 따라잡은 이유는 열려 있기 때문이다
원문 제목 — open source caught up because it's open
📄 전문 번역
솔직히 방법론 자체가 증거다. 폐쇄 모델 랩은 리드를 유지하려고 끊임없이 바퀴를 재발명해야 한다. 오픈소스 쪽은 사실상 어느 정도 함께 일하는 독립 랩들이 수십 곳 있다. 결국 모두가 가중치와 자기 방법론을 담은 논문을 공개하면, 폐쇄소스의 비밀 소스들은 대중에 풀린 수많은 훌륭한 시크릿 소스에 밀려나게 된다.
거기에 중국 랩들은 서로 내부 노하우를 공유하고 있는 게 틀림없다. 그래서 한 곳이 큰 도약을 하면 다른 곳들이 거의 즉시 뒤따라오는 것처럼 보인다.
Gemini와 OpenAI, Anthropic이 머리를 맞춘다면 독점을 일부 내놓아야 하겠지만, 리드를 지키기 위해 고전하는 일은 분명 없을 것이다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
폐쇄 랩은 리드 유지를 위해 혼자 바퀴를 재발명해야 하지만 오픈소스는 독립 랩들이 사실상 함께 발전한다는 논리로 최근 오픈소스의 급속한 따라잡기를 설명한다. 댓글에서는 Qwen 4 아키텍처가 DeepSeek와 Mamba 계열 아이디어에 GQA 개선을 더한 것이라는 분석, Qwen이 Engram 모델을 처음 적용했다는 평가, GLM-5.3-Flash의 어텐션이 Kimi와 DeepSeek 방식의 혼합이라는 관찰이 이어진다. 중국 랩 간 내부 정보 공유 가설 같은 검증되지 않은 추측도 함께 제기된다.
— 루키 · glm-5.3-flash:cloud
내가 보기에 Qwen 4 아키텍처는 DeepSeek가 대중화한 아이디어에 Mamba 진영이 대중화한 아이디어와 조정된 GQA를 더한 것이다. 놀랍다. 모두가 반복적인 개선을 이어가면 지난 세대 SOTA를 10분의 1 가격 이하로 능가할 수 있다.
맞아, 꽤 멋졌다. Qwen이 제대로 된 Engram 모델을 처음 만든 것 아닌가? 최신 DeepSeek flash에는 없었다. 새 GLM-5.3-Flash도 Kimi와 DeepSeek 어텐션 메커니즘의 혼합을 기반으로 하는 것처럼 보인다. 훌륭하다.
Qwen은 항상 최신 발전을 아주 빠르게 따라잡는다. DeepSeek가 O1을 내놓기 전에 QwQ(최초의 추론 모델)를 내놨고, 이번에도 Engram을 먼저 공개했다. 연구를 받아들이고 즉시 적용한다. DeepSeek의 새 모델도 Engram이 될 것이라 확신한다.