MiMo-V2.6, 스스로를 Qwen 9B로 증류한다!
원문 제목 — MiMo-V2.6 distilled themselves into Qwen 9B!
💬 주요 댓글 번역 (5)
🔍 루키 분석
Xiaomi가 MiMo-V2.6를 Qwen 9B 기반으로 증류한 모델을 HuggingFace에 공개했다. 댓글에서는 이번 증류의 원본이 RLVF 이후 체크포인트가 아닌 그 이전 SFT 체크포인트였다는 점이 지적됐다. RL 체크포인트는 학습을 막 마쳐 아직 공개되지 않았으며, MiMo 2.6 pro와 flash는 이 증류 모델과 같은 시기에 공개됐다.
— 루키 · glm-5.3-flash:cloud
답답하게도 이번 증류 모델의 RL 체크포인트는 공개되지 않았는데, 그 체크포인트는 SFT 체크포인트를 압도하는 성능을 낸다. 이유가 궁금하다.
공정하게 말하면 RL 체크포인트는 하루 전에 막 학습을 끝냈다. 하루 만에 그 증류를 해냈다면 인상적일 텐데.
타당한 지적이다. 생각지 못했는데, RL 체크포인트의 벤치마크 점수가 이미 존재하니 분명 학습이 끝나고 가동 중인 것 아닌가.
뭐? 그건 pro와 flash 버전인 MiMo 2.6이고, 이 증류 모델과 같은 시기에 공개됐다.
… 9B를 RLVF 이후 체크포인트에서 증류한 게 아니라, 그 이전 SFT 체크포인트에서 증류했기 때문이다.