Qwen이 순수 Mixture of Experts 대신 파라미터를 N-gram으로 오프로드하는 데 초점을 맞춘 Qwen4Exp라는 아키텍처 폭탄을 터뜨린 이후, 나는 이것을 파고들며 많은 것을 배웠다. 여기에 요약이 있다. 사람이 쓴 글이니 오류는 있을 수 있다. TLDR: MoE는 추론을, N-gram은 회상을 담당한다. 현재 기술 최전선에서 N-gram은 이점을 잃기 전까지 최대 약 25%의 가중치를 오프로드할 수 있으며, 그것을 RAM 대신 SSD에 저장할 때 가장 큰 이점을 얻는다. 그래서 176B 모델이 125B(RAM) + 51B(SSD) 형태가 되는 것이다.

전문가(MoE)는 산술 작업이다. 라우터가 모델의 히든 상태를 검사해 몇 개의 피드포워드 블록을 고르고, 그 블록들이 곱셈을 수행한다. 선택은 레이어가 이미 시작된 후에야 도착하고 페이로드가 크기 때문에, 전문가를 디스크에 두는 것은 보통 느리다. 기계는 필요한 것을 너무 늦게야 알아차리고, 기가바이트를 느린 버스로 나른 끝에 한꺼번에 계산한다.

N-gram 테이블은 다른 종류의 기억이다. 마지막 몇 개 토큰의 해시로 주소 지정되는, 짧은 지역 구문을 위한 벡터를 저장한다. 그 주소들은 토큰이 존재하는 순간 이미 존재한다. 네트워크는 테이블 전체를 곱하지 않는다. 종종 몇 kB에 불과한 소수의 행을 모아 스트림에 접어 넣는다.

Qwen 3.8 Flash Next(Qwen4Exp)는 약 125B 파라미터를 MoE 네트워크에, 또 다른 51B를 N-gram 테이블에 두고 토큰당 약 6B만 활성화한다. 추가된 51B는 추가 산술 작업이 아니라 용량이다. 따라서 이 모델은 단서 조건이 있지만 125B-A6B 모델처럼 빠르게 동작한다.