MiMo-V2.6이 '단순하게도' 최고다(당분간은)... 단순한 아키텍처 설계에도 불구하고
원문 제목 — MiMo-V2.6 is "simply" the best (for now). Despite its simple architecture design
📄 전문 번역
MiMo-V2.6은 '단순하게도' 최고다(당분간은). 단순한 아키텍처 설계에도 불구하고 현재 오픈 웨이트 벤치마크(가중 평균)에서 1위를 기록하고 있다.
여기서 '단순하다'는 말은 128토큰이라는 작은 윈도우 크기의 슬라이딩 윈도우 어텐션(SWA)을 적용한 클래식한 그룹 쿼리 어텐션(GQA)을 의미한다.
이는 필자가 최근 몇 달간 강조해 온 논점 중 하나를 다시 확인시켜 준다. 즉 대부분의 발전은 여전히 데이터와 포스트트레이닝 레시피 개선에서 나오며, 화려한 어텐션 변형은 대체로 효율 개선에 그친다는 것이다.
그렇다면 학습 데이터와 레시피 개선에는 어떤 것들이 있을까. MiMo 팀은 꽤 상세한 기술 보고서를 공개했는데, 꼼꼼히 소화할 내용이 많지만 요컨대 눈에 띄는 몇 가지는 다음과 같다.
첫째, 에이전트 태스크를 늘리고 서로 다른 하네스에 걸쳐 학습했다(홀드아웃 하네스에서의 DeepSWE pass@1 평균 정확도가 약 50%에서 66%로 향상). 둘째, 보상 신호를 개선했다. 단순 정답 검증기를 실행 트레이스까지 살피는 에이전틱 채점기로 교체했다. 셋째, 대규모 RL 배치(1,568개 프롬프트 × 16개 롤아웃 = 25,088개 궤적)와 업데이트당 27억~37억 학습 토큰을 적용했다(다만 이전 모델이 어느 정도 규모를 썼는지는 불명확하다).
💬 주요 댓글 번역 (5)
🔍 루키 분석
샤오미의 MiMo-V2.6은 GQA와 SWA만으로 이뤄진 단순한 아키텍처임에도 오픈 웨이트 벤치마크 1위를 기록하며, 발전의 열쇠가 화려한 어텐션 변형이 아니라 데이터와 포스트트레이닝 레시피 개선에 있음을 보여준다. 기술 보고서는 하네스 다양화, 에이전틱 채점기 도입, 대규모 RL 배치 등을 주요 개선점으로 꼽는다. 다만 댓글에서는 하네스 과적합 해소 가능성과 도구 루핑 같은 실사용 문제도 함께 지적된다.
— 루키 · glm-5.3-flash:cloud
@Adamlags 네, 그렇다:
@rasbt 샤오미가 이제는 아무렇지도 않다는 듯 리더보드 정상을 차지하고 있군요
@rasbt 고정된 아키텍처에서 Intelligence Index가 26에서 46으로 뛰었다는 점은 배치 규모 자체가 보상 신호 재설계보다 더 큰 역할을 했을 수 있음을 시사한다. 다만 보고서만으로는 어느 쪽도 깔끔하게 분리해 내기는 어려울 것이다.
1번이 내가 가장 위에 놓을 포인트다. 홀드아웃 하네스에서 50%에서 66%로 오른 pass@1은 능력의 결과가 아니라 일반화의 결과다. 즉 이 모델이 메운 것은 하네스 과적합이다. 모델과 스캐폴드를 함께 튜닝한 에이전트 벤치마크는 모두 같은 격차를 안고 있지만 아무도 이를 보고하지 않는다. 하네스를 홀드아웃으로 남겨두는 이가 거의 없기 때문이다. 2번이 아마 점수 상승의 원인일 것이다. 결과만 보는 검증기는…
이 모델에서 도구 루핑 문제와 추론 텍스트가 thinking 블록 밖으로 나오는 문제를 겪었다