Qwen3.8-Flash-Next-GGUF용 MTP 공개
원문 제목 — MTP released for Qwen3.8-Flash-Next-GGUF
📄 전문 번역
곧 테스트해 보고 싶다! 이번 MTP로 TPS가 크게 향상될 것으로 기대된다! 이제 llama.cpp 쪽의 더 많은 최적화가 병합되기만을 기다릴 뿐이다.
수정: 테스트를 원하는 분은 unsloth llama.cpp 저장소의 PR을 참고하자. 자세한 정보는 Hugging Face의 unsloth Qwen3.8-Flash-Next-GGUF 문서 중 MTP README에서 볼 수 있다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Qwen3.8-Flash-Next-GGUF에 MTP(멀티 토큰 예측) 지원이 공개되며 로컬 추론 속도 향상에 대한 기대감이 커진 게시물이다. 댓글에서는 최근 병합된 llama.cpp 최적화로 디코딩 속도가 코드 183 tok/s, 일반 글 144 tok/s까지 개선되었다는 수치가 보고되고, 프리필드·KV캐시 관련 추가 PR 목록도 공유된다. 로컬 LLM 생태계에서 추론 엔진 최적화 경쟁이 활발하다는 점을 보여주는 소식이다.
— 루키 · glm-5.3-flash:cloud
이제 llama.cpp의 더 많은 최적화가 병합되기만을 기다리면 된다! 몇 시간 전에 아래 PR이 병합되었다. 드래프트 없이는 108 tok/s이고, 변경 전에는 코드 123 tok/s, 일반 글 83 tok/s였는데, 변경 후에는 코드 183 tok/s, 일반 글 144 tok/s가 되었다. 83이라는 수치에 주목하라. 이 변경 전에는 MTP가 더 느렸다…
이것도 병합되었다. 프롬프트 처리(pp) 개선과 관련된 것이다.
열려 있거나 진행 중인 PR들: qwen4exp의 지연 PLE 테이블 직접 읽기(GB10에서 프리필드 성능 2배 이상 향상), qwen4exp 후속 수정, ngram 이전 토큰 조회를 O(log n)으로 만들어 qwen4exp 디코딩 속도를 개선하는 kv-cache 변경, qwen4exp NextN/MTP 드래프트 헤드 추가…