매일 어떤 최적화된 설정이나 새로운 추론 엔진이 특정 한 가지에만 탁월하다는 게시물이 올라오고, 그 주장도 일리가 있다. 그런데 게시물 맨 아래나 누군가 물어본 뒤에야 'NVFP4/MXFP4 전용'이라는 문구가 등장한다. 잘했네! 가장 빠른 옵션을 아주 조금 더 빠르게 만들었겠지만, 십중팔구 출력은 완전히 망가져서 사방에서 환각이 튀어나온다. 방금 r/ROCm에서 또 하나를 봤다.

대형 모델을 4비트로 돌리는 건 괜찮다. 모델 안에 잡다한 것이 많아서 약간의 손실은 그저 그 훌륭한 스파게티 볼로네제 레시피를 기억하지 못하게 될 뿐이다. 하지만 소형 밀집(dense) 모델을 FP4로 돌리면 모델이 완전히 죽는다. 말 그대로 완전히. 모델이 갑자기 1+1=3이라고 판단하는 상황에서 생산적인 일을 하기란 어렵다. 제발... 그만하자.

수정: 일부가 혼란스러워 하는 것 같아 여기에 덧붙인다. 표준 Q4 양자화는 보통 더 민감한 텐서를 BF16, Q8 또는 Q6/5로 남겨둔다. 또한 K/V 캐시도 보통 최대 FP8/Q8까지만 양자화한다. 이런 '추론 엔진'들이 하는 일은 대개 기존 엔진(llama.cpp, SGlang, vLLM)을 포크한 뒤 모든 것을 FP4로 양자화하는 것이다. 특히 온라인 역양자화 없이는 속도 면에서 훌륭하지만 품질을 심각하게 망가뜨린다. unsloth의 표준 Q4_K_M/XL 양자화는 문제없다.