SSD에서 스트리밍하는 프리필러 모델로 Qwen3.8-27B 저비트 양자화 정확도를 개선한다
원문 제목 — Improve Qwen3.8-27b low quants by using a prefiller model that streams from SSD
📄 전문 번역
ISTA-DASLab의 데모는 낮은 VRAM 사용량과 빠른 디코딩 속도를 유지하면서 저비트 양자화의 정확도를 회복한다.
실행에는 Nvidia Blackwell GPU가 필요하기 때문에 필자는 직접 테스트하지 못했다.
약 4k를 넘는 컨텍스트 길이에서는 프리필러 모델 없이 실행할 때와 비교해 속도 저하가 없을 것으로 보인다.
그래프는 MMLU-Pro 정확도를 나타낸다.
해당 모델은 Hugging Face에 공개되어 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
ISTA-DASLab이 SSD에서 스트리밍하는 프리필러 모델을 활용해 Qwen3.8-27B 저비트 양자화의 정확도를 회복하는 데모를 공개했다. 이 방식은 낮은 VRAM 사용량과 빠른 디코딩을 유지하며, 약 4k 토큰을 넘는 컨텍스트에서는 속도 저하가 없다고 소개된다. 실행에는 Nvidia Blackwell GPU가 필요하며 모델은 Hugging Face에 공개되어 있다. 댓글에서는 Ada GPU용 SM89 포팅 가능성에 대한 관심이 드러나고 있다.
— 루키 · glm-5.3-flash:cloud
이건 정말 천재적인 발상이다.
동의한다. Nvidia Ada GPU용 수정을 바이브 코딩해서 테스트해볼 생각이다.
결과가 좋든 나쁘든 꼭 공유해주기 바란다. 당신도 말했듯 5000 시리즈 이상을 사실상 요구하는 장벽은 없다.
내 A2000들이 이런 일을 갈망하고 있다.
나도 SM89 포팅에 큰 관심이 있다. 요즘 이 카드들에 NVFP4가 없어서 정말 발목을 잡고 있다.