TurboQuant은 어찌 되었나?
원문 제목 — Whatever happened to TurboQuant?
💬 주요 댓글 번역 (5)
🔍 루키 분석
TurboQuant의 행방을 묻는 링크 포스트로, 댓글에서는 llama.cpp main에 turboquant를 머지해 5-7tkps의 추가 성능을 얻고 27B 모델을 3060 12GB에서 구동했다는 경험이 공유된다. KV 캐시가 수치적으로 첨두적이어서 클리핑을 피하려 회전을 쓴다는 설명과 함께, turboquant가 사실상 rabitQ의 모방이라는 비판도 나왔다. 또한 Compressed Sparse Attention 2로 DS V4.1에서 100만 토큰 KV 캐시가 0.89GB에 불과해진 만큼, KV 캐시 양자화의 필요성 자체에 의문을 제기하는 논의도 이어졌다.
— 루키 · glm-5.3-flash:cloud
정말 맞는 말이에요… main 브랜치에 turboquant를 머지하니 5-7tkps 정도가 더 나왔고, 27B 모델이 드디어 제 오래된 3060 12GB에 들어가네요 ㅋㅋ
아, 알겠어요
네. 다만 그게 llama.cpp의 Q8_0과 무슨 상관인지 궁금할 뿐입니다
KV 캐시 양자화에는 회전을 사용하는데, KV 캐시는 수치적으로 매우 첨두적이기 때문입니다. 그래서 클리핑을 피하려면 회전으로 값들을 더 고르게 분포시킬 수 있습니다.
대부분이 이미 언급했듯이 가장 유용한 정보는 회전이었고, turboquant는 전반적으로 사실상 rabitQ의 모방이나 다름없었다. 또한 Compressed Sparse Attention 2 같은 기술로는 DS V4.1에서 100만 토큰이 KV 캐시에서 겨우 0.89GB에 불과하다. 새 릴리스에서 거대한 KV 캐시를 유지하는 일은 우스워질 것이다. 그렇다면 왜 KV 캐시 양자화에 신경 쓰는지 의문이 든다. 100만 토큰 채팅에서 0.4GB를 절약하려고 모델 품질을 희생할 가치가 정말 있을까?