Qwen3.8-Flash-Next의 사전 학습된 PLE n-그램 메모리를 훨씬 작은 Qwen3.5-0.8B 모델에 이식하면 성능이 개선되는지 검증하는 실험이 공개됐다. 개발자는 제한된 자원, 주로 무료 Kaggle 노트북 GPU를 활용해 0.8B 셋업을 학습했다. 이 셋업은 Qwen3.5-0.8B 백본과 약 51B 파라미터의 PLE 메모리를 모두 동결한 상태를 유지하며, 디코더 3층과 9층에서 소형 R=1 리더를 학습하고 토큰 의존적 선형 게이트가 이후 단계의 메모리 주입을 제어한다. 백본 파인튜닝은 이루어지지 않았으며, 현재 균형 잡힌 체크포인트는 15M 토큰으로 학습된 리더와 별도로 보정된 동적 게이트를 사용한다.

동결된 전체 검증 세트 기준으로 Qwen3.5-0.8B 기본 모델은 NLL 2.905585, PPL 18.2759를 기록한 반면 Qwengram-0.8B는 NLL 2.853786, PPL 17.3534를 기록해 퍼플렉시티가 5.05% 낮아졌다. 이는 언어 모델 검증 결과일 뿐 벤치마크 정확도가 5% 더 높다는 주장은 아니다.

최종 설계에 영향을 준 발견들도 소개됐다. 실제 사전 학습된 PLE는 무작위 메모리와 순열 메모리 대조군을 모두 앞섰고, 리더 손실은 5M 학습 토큰을 훨씬 넘어서까지 개선이 이어졌다. 20M 리더는 전체 LM 손실을 더 낮췄지만 수학 영역에서 후퇴를 보여 15M이 균형 체크포인트로 남았다. 강한 고정 후반부 계층 메모리 주입은 LAMBADA 성능을 해쳤으나 동적 토큰 수준 중재가 이 트레이드오프의 상당 부분을 회복했고, 게이트는 학습된 상수처럼 작동하지 않고 토큰별로 메모리 강도가 실질적으로 달라지는 진짜 동적 방식임이 확인됐다. 동일한 메모리 예산에서 학습된 토큰 배치가 셔플 배치를 능가했으며, 높은 불확실성 위치로 메모리를 라우팅하는 방식은 이점의 일부를 회복했지만 학습된 게이트에는 미치지 못했다. 웜 스타트한 R=4 리더는 전체 LM 손실을 소폭 개선했지만 코드와 수학에서 후퇴를 유발해 R=1이 균형 아키텍처로 유지됐다.

개발자는 llama.cpp에 추론 경로도 구현했으며, 공개 아티팩트로 허깅페이스의 모델 및 GGUF 파일, 학습·대조군·평가 자료를 담은 GitHub 저장소, 수정된 llama.cpp 런타임 저장소를 제공한다. GGUF에는 Qwen3.5 백본과 학습된 리더 및 중재 텐서가 포함되고, 대형 PLE는 모델 GGUF에 패킹되지 않은 외부 양자화 사이드카 형태로 유지된다. 별도의 고정 WikiText-2 GGUF 런타임 테스트에서는 Q8_0이 BF16 리더 NLL 개선분의 99.1%를 유지했으며, 이는 앞선 동결 Kaggle 검증 벤치마크와는 별개의 런타임 측정이다.

개발자는 리더, PLE 캐싱, 라우팅, 런타임에 대한 재현이나 개선 시도를 환영한다며, 다음 단계로 더 큰 Qwen 백본 특히 35B-A3B MoE를 시도하고 싶다고 밝혔다. 해당 규모의 실험은 무료 Kaggle 노트북이 감당할 수 있는 수준을 넘는 컴퓨팅을 요구하지만, 0.8B 연구는 리더 스케일링과 동적 메모리 중재에 관해 훨씬 명확한 레시피를 제공한다. 글쓴이는 Qwengram과 링크된 저장소의 저자이며, 영어가 모국어가 아니어서 AI 도움으로 문법 교정과 문구 개선을 했다고 밝혔다. 실험 자체도 주로 ChatGPT Sol이라는 코딩 에이전트의 구현·디버깅·실험 오케스트레이션·분석 지원으로 진행됐으나, 실험 설계와 연구 결정, 결과 검토는 글쓴이가 직접 수행했으며 최종 결론의 책임도 글쓴이에게 있다.