Qwen 3.8 Flash Next가 출시된 이후, N-gram 테이블 덕분에 980B 파라미터를 SSD로 오프로드한 상태로 1T 이상 파라미터 모델을 단일 서버에서 구동할 수 있다는 오해가 퍼지고 있다. 유감스럽게도 그렇지 않다. 하지만 로컬 모델에 실제로 해줄 수 있는 일은 그보다 더 훌륭하다.

Engram의 본질은 더 긴 키를 가진 임베딩 테이블일 뿐이다. 단일 토큰 ID로 정적 벡터를 인덱싱하는 대신, 마지막 2~3개 토큰, 즉 N-gram으로 인덱싱한다. 'New York'에는 자체 암기 벡터가, 'the United'에도 자체 벡터가 할당되는 식이다. N-gram을 해싱하고, 벡터를 가져와 네트워크에 넣는다. O(1), 상수 시간, FLOPs는 없다.

왜 신경 쓰는가? 트랜스포머가 초기 레이어에서 수행하는 작업의 놀랄 만큼 많은 부분이 정적인 것을 매번 처음부터 재구성하는 일이기 때문이다. 개체명의 철자, 정형화된 구문, 자주 쓰이는 연어, 예컨대 'New'와 'York'가 모이면 Wall Street, 델리, 쥐, 지하철이 떠오르는 식이다. 그런데 모델이 다중 토큰 개체를 회상할 때마다 여러 레이어의 어텐션과 FFN을 태워 사실상 데이터베이스 조회에 불과한 것을 재조립한다. Engram은 그 일을 실제 데이터베이스 조회로 옮겨 신경 레이어가 진짜 추론에 자신의 깊이를 쓰게 만든다. 'New', 'York' 같은 다중 토큰 구문의 의미를 여러 레이어에 걸쳐 '재유도'하는 대신, Engram은 그 조회를 즉시 수행하게 한다.

바로 이 때문에 Qwen 3.8 Next는 토큰당 약 6B만 활성화하면서도 51B 파라미터의 N-gram 임베딩을 운반할 수 있다. 테이블 조회 비용이 저렴하기 때문이다.