이 글은 MoE화 프로젝트에 관한 또 다른 업데이트이며, 첫 번째 게시물은 별도 링크에서 확인할 수 있다. 서문: 마지막 모델 변환 이후 새로운 방법들을 많이 실험했지만 안타깝게도 대부분의 시도는 큰 도움이 되지 않았다. 호환성이 주된 제약 요소였다. 최대한 많은 사람이 내 모델을 쓸 수 있도록 GGUF 호환성을 우선시했지만, 이는 일부 잠재적 개선을 희생하는 것을 의미한다. 그럼에도 완벽주의 덕분에 마침내 또 다른 모델을 공개하게 되었는데, 바로 첫 번째 챗 스타일 변환인 Qwen3-0.6B이다.

이번 변환은 두 가지 새로운 과제를 안겼다. 변환 과정에서 챗 능력을 보존하는 것과, Qwen 2.5의 qwen2moe에서 Qwen3의 qwen3moe로 기존 방법을 적응시키는 것이다. 후자가 특히 어려웠는데, 이전 아키텍처와 달리 Qwen3에는 공유 전문가(shared expert)가 없다. 공유 전문가는 중요한 뉴런을 항상 활성 상태로 유지해 이전 변환에서 품질 보존에 도움이 되었기 때문에, 이것이 없으면 품질이 상당히 떨어졌다.

이를 완화하기 위해 라우터가 항상 선택하는 전문가, 즉 의사 공유 전문가(pseudo-shared expert)를 실험했다. 가중치 차이 때문에 진짜 공유 전문가만큼 잘 작동하지는 않지만 잃은 품질의 일부를 회복한다. GGUF 호환성보다 품질을 우선시해 dense 레이어 치환 같은 기법을 쓸 수 있는 별도 변환 세트도 공개를 고려 중이다. 마지막으로 뉴런을 복제해 새로운 전문가 쌍을 만드는 실험에 대한 의견을 듣고 싶은데, 초기 결과는 상당한 개선을 보였지만 총 파라미터 수가 두 배가 되어 변환의 취지를 해친다고 생각한다.

이번 최신 변환 대상은 Qwen/Qwen3-0.6B이며, 변환본은 bayliner1980/Qwen3-0.6B-MoE-A0.5B, GGUF 버전은 bayliner1980/Qwen3-0.6B-MoE-A0.5B-GGUF에서 찾을 수 있다. 평가 결과 Wiki ppl은 dense 23.88 대비 MoE 26.98, C4 ppl은 31.63 대비 36.32, Tasks 점수는 0.455 대비 0.425를 기록했다. 벤치마크에서 GPU 생성 속도는 dense 377 t/s, MoE 352 t/s였고 CPU 생성 속도는 dense 115 t/s, MoE 124 t/s였다. 0.6B 같은 낮은 파라미터에서는 변환으로 속도 향상이 없으며, 1.5B 변환 같은 더 큰 모델에서만 실제 이득이 있다.

한계로는 특정 사실을 확신에 차게 잘못 말하는 점이 꼽힌다. 모나리자를 누가 언제 그렸는지 묻자 레오나르도 다 빈치가 1519년에 그렸다고 답하는데, 1519년은 그가 사망한 해다. 코드는 깨져 있으며, thinking은 변환 후 훈련된 적이 없으므로 non-thinking 모드를 사용해야 한다. 모든 품질 지표에서 원본보다 나쁘므로 그저 작은 모델만 원한다면 Qwen3-0.6B를 쓰는 것이 낫다. 마지막으로 관심 있다면 Ko-fi에서 후원을 고려해 달라고 당부했다.