[논문] ToMoE: 동적 구조적 프루닝으로 밀집 대형 언어 모델을 Mixture-of-Experts로 변환
원문 제목 — [Paper] ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning
📄 전문 번역
대형 언어 모델은 폭넓은 복잡 작업에서 뛰어난 능력을 보여주지만, 막대한 연산·메모리 비용 때문에 자원이 제한된 기기에 배포하거나 효율적으로 서빙하는 데 큰 어려움이 있다. 기존 접근은 덜 중요한 모델 구조를 영구적으로 제거해 문제를 완화하려 했으나, 파라미터를 영구 삭제하는 탓에 성능이 크게 훼손되는 경우가 많았다.
이 연구는 파라미터를 영구 제거하지 않으면서 활성 파라미터 수를 줄이는 방향으로 문제를 완화하고자 했다. 구체적으로 밀집 모델의 MLP 층을 Mixture of Experts(MoE) 구조로 변환해 고정된 수의 활성 파라미터를 유지하도록 만드는 미분 가능한 동적 프루닝 기법을 제시한다. 이 방법은 파인튜닝 없이도 Phi-2, LLaMA-2, LLaMA-3, Qwen-2.5 등 다양한 모델 계열에서 기존 구조적 프루닝 기법을 일관되게 앞선다.
논문은 arXiv에 공개됐고 코드도 GitHub에 올라와 있으며 ICML 포스터와 OpenReview 페이지가 함께 링크됐다. 게시자는 Qwen3.8-27B, Muse-Glimmer-30B 같은 최근 밀집 모델의 MoE 버전을 커뮤니티 누군가 만들어 달라고 요청했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
밀집 LLM의 MLP 층을 Mixture of Experts 구조로 변환해 파라미터를 영구 삭제하지 않고 활성 파라미터 수만 줄이는 동적 프루닝 기법 ToMoE가 논문으로 소개됐다. 파인튜닝 없이도 Phi-2, LLaMA-2, LLaMA-3, Qwen-2.5 계열에서 기존 구조적 프루닝보다 나은 성능을 낸다고 주장한다. 댓글에서는 이 방식이 Qwen 3.8 27B의 A3B화로 이어지지는 않고 상당한 손실을 동반한 A16B 수준에 그칠 것이라는 분석과 함께 MoE 직접 학습 대비 한계가 지적됐으며, A16B와 Q4 양자화 중 무엇이 나은지 묻는 질문과 Qwen 3.8 27BA3B 출시를 기다리는 반응이 나왔다.
— 루키 · glm-5.3-flash:cloud
이 방식으로 Qwen 3.8 27B A3B가 탄생하지는 않는다. 눈에 띄는 수준의 손상과 함께 Qwen 3.8 27B A16B 정도는 얻을 수 있겠다. 다른 MoE화 시도들보다는 개선됐지만 MoE를 직접 학습한 것만큼은 아니다.
이제부터 이걸 MoEdification이라고 불러야 할까? 찬성하는 손?
A16B로 돌리는 편이 나을까, 아니면 그냥 Q4_K_* 계열이 나을까?
Qwen 3.8 27BA3B는 언제 나오나.
Muse-Glimmer가 MoE화되면 지금 이미 코믹할 정도로 빠른 것보다 더 빨라지겠군.