MOSS 이미지는 5GB 버전과 9GB 버전 중 어느 것을 받아야 할까
원문 제목 — Which MOSS image should I get? The 5GB or 9GB one?
💬 주요 댓글 번역 (5)
🔍 루키 분석
MOSS 이미지 모델의 5GB와 9GB 버전 중 무엇을 받을지 묻는 링크 게시물이며, 댓글에서는 양자화 형식 간의 속도와 품질 트레이드오프가 논의된다. Nvidia GPU와 RDNA4에서는 int8이 bf16보다 훨씬 빠르지만 RDNA3에서는 오히려 느리다는 지적이 나왔다. Q8은 품질이 bf16에 필적하지만 오버헤드가 있고 ComfyUI의 동적 VRAM 관리에서 GGUF를 실행하지 못해 모델이 VRAM에 맞지 않으면 성능이 크게 저하된다는 의견도 제시되었다. RDNA3는 WMMA 코어를 통해 INT8을 부분적으로 지원하며 FP8 가속은 RDNA4 전용이라는 설명도 덧붙여졌다.
— 루키 · glm-5.3-flash:cloud
bf16은 보통 가치가 없다. int8로 넘어갈 때의 품질 손실은 극히 작은 반면 int8은 훨씬 빠르다.
다만 그것은 Nvidia GPU(그리고 RDNA4)에서만 해당되므로 유의해야 한다. 내 RDNA3 RX 7800 XT에서 int8은 bf16보다 느리기 때문에 bf16을 그냥 실행하지 않을 이유가 전혀 없다. 아니면 Q8도 좋다. Q8은 bf16에 거의 필적하면서 bf16과 정확히 같은 속도지만 디스크 공간은 절반만 차지한다.
나는 rx7800이 없어서 그 주장을 검증할 수는 없지만 사실인 것 같다. RDNA3에서 int8이 실제로 bf16과 같은 속도로 실행되는 반면 RDNA4에서는 int8/fp8이 두 배 속도로 실행된다는 점은 다소 직관에 어긋난다. 그런데 rx7800에서 Q8을 실제로 테스트해 보았는가? Q8은 추가 오버헤드가 있고 int8convrot에 비해 품질이 크게 나은지 의문스럽다. Q8 모델이 VRAM에 맞는다면(Moss의 경우 해당) int8convrot나 fp8에 비해 그리 나쁘지 않지만, ComfyUI는 새로운 동적 VRAM 관리에서 GGUF를 실행하지 않으므로 모델이 맞지 않을 경우(예를 들어, 성능이 훨씬 나빠진다.
INT8이 부분적으로 지원되는 것으로 보인다. INT8은 매트릭스 전용이며 전용 스칼라/벡터 INT8 ALU opcode가 없다(WareDB는 범용 벡터 INT8을 미지원으로 표시한다). 이 때문에 FSR 4의 INT8 변형은 WMMA 코어를 통해 RDNA 3에서 실행될 수 있고(2026년 6월 26.6.2 Adrenalin 드라이버에서 FSR 4.1로 정식 제공), FP8 가속은 RDNA 4 전용으로 남는다.
그렇다. fp8과 달리 int8은 RDNA3의 네이티브 기능이지만, RDNA4와 달리 bf16의 두 배 속도는 아니다.