토큰 처리 속도가 충분히 느리면 추측 디코딩을 눈으로 직접 볼 수 있다
원문 제목 — If your t/s is low enough, you can see speculative decoding with your own eyes
📄 전문 번역
얼마 전 DS4 Pro 증류 모델을 시험했는데, 이 모델에는 MTP가 포함돼 있었다. 필자의 하드웨어에서는 초당 2~3토큰에 불과할 만큼 매우 느렸지만, 한 번씩 속도가 확 올라가는 순간이 있었다. United States of America, First law of thermodynamics, The enshittification of the internet 같은 식이었다.
요컨대 매우 예측 가능한 구절이 나올 때마다 그 부분은 즉시 써 내려갔다. 볼 만한 재미있는 광경이지만 궁금증도 생겼다. MTP는 n-gram과 함께 동작할 수 있을까? n-gram은 마르코프 연쇄, 즉 자동완성을 떠받치는 엔진과 같은 것인데, 이를 추측 디코딩과 결합하면 얼마나 의미가 있을까.
💬 주요 댓글 번역 (3)
🔍 루키 분석
MTP가 포함된 DS4 Pro 증류 모델이 저사양 하드웨어에서 초당 2~3토큰으로 느리게 동작할 때, 예측 가능한 구절에서만 출력이 순간적으로 빨라지는 추측 디코딩의 모습을 육안으로 확인했다는 경험담이다. 작성자는 이를 보고 n-gram과 MTP의 결합 가능성을 질문했다. 댓글에서는 TensorRT가 이미 n-gram 드래프트를 구현해 최적 조건에서 토큰 처리량을 거의 두 배로 올린다는 사실과, 실사용에서는 코딩 외 영역에서 체감 효과가 제한적이라는 평가가 함께 나왔다.
— 루키 · glm-5.3-flash:cloud
n-gram을 MTP의 드래프트 모델로 쓰는 건 충분히 말이 된다. 실제로 TensorRT가 이를 구현하고 있다. 최적 조건에서 테스트 기준 초당 토큰 수가 거의 두 배가 되었다.
ngram-mod를 MTP와 함께 켤 수 있고 켜야 한다. 사실상 공짜나 다름없기 때문이다. 다만 실제로는 코딩 외 영역에서는 속도 향상을 체감하기 어렵다고 본다.
Qwen3.8-27B의 긴 추론 과정에서도 도움이 될 것이다. 이 모델은 하고 있는 생각을 굉장히 많이 반복하는 경향이 있기 때문이다.