Ollama로 LLM을 로컬에 배포할 때 어떤 GGUF 양자화 수준을 선택할지가 늘 고민거리가 된다. 한 이용자는 Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ4_XS 등으로 이어지는 GGUF 명명 체계를 라즈베리 파이, Jetson, Mac Mini, 소비자용 GPU 같은 엣지 하드웨어용 간단한 의사결정 트리로 정리한 가이드를 공개했다.

핵심 요약은 다음과 같다. 채팅, RAG, 에이전트 도구 호출 등 대부분의 워크로드에서는 Q4_K_M을 기본으로 삼는 것이 좋다. 이는 VRAM 사용량을 낮게 유지하면서 대부분의 작업에서 FP16에 근접한 품질을 제공한다. Q5_K_M이나 Q8_0으로 옮겨갈 때는 하드웨어가 충분한 VRAM을 갖추고 있고 코딩, 수학적 추론, 구조화된 출력처럼 정밀도에 민감한 작업일 때뿐이다. Q4_K_M이 맞지 않는다면 Q3나 Q2로 낮추는 대신 더 작은 모델을 선택하는 편이 낫다. 3B 모델을 Q4_K_M으로 돌리는 것이 보통 7B 모델을 Q3나 Q2로 억지로 돌리는 것보다 더 신뢰할 수 있는 응답을 낸다. Ollama와 llama.cpp 기반의 로컬 및 엣지 하드웨어에는 GGUF가 적합한 형식이며, AWQ는 vLLM을 활용한 클라우드 GPU 추론에 더 어울린다.

VRAM 용량별 권장 양자화는 다음과 같다. 4~6GB에서는 6GB면 7B/8B 모델을 Q4_K_M으로, 4GB라면 3B 모델을 Q4_K_M으로 돌린다. 8~12GB에서는 대부분의 워크로드에 Q4_K_M이, 코딩이나 구조화된 추론이 주력이라면 Q5_K_M이 적합하다. 12~16GB에서는 코드, 수학, 구조화된 출력 품질을 높이려면 Q5_K_M이나 Q6_K를 고른다. 16~24GB에서는 개발 및 추론 워크로드에서 거의 무손실에 가까운 품질을 위해 Q8_0을 쓴다. 24GB 이상에서는 8B 이하 모델에 FP16이 현실적이며, 더 큰 모델도 여전히 Q8_0으로 돌리는 경우가 많다.

Q4_K_M에서 벗어나야 할 때도 있다. 코딩과 구조화된 추론에서는 하드웨어가 지원한다면 Q5_K_M이나 Q8_0을 선호하는 것이 좋다. 4GB 미만 메모리의 CPU 전용 환경에서는 큰 모델을 Q3/Q2로 돌리는 대신 작은 모델을 Q4_K_M으로 선택한다. 일반 채팅과 에이전트 워크로드는 Q4_K_M을 유지해도 품질 차이가 대개 느껴지지 않는다.

글쓴이는 이 외에도 PTQ와 QAT의 차이, GGUF와 GPTQ, AWQ의 비교, 각 접미사의 의미, OOM 오류와 추론 품질 저하 같은 흔한 문제의 해법을 다루었으며 전체 가이드는 Actian 블로그에서 확인할 수 있다. Actian VectorAI DB에서 일하는 글쓴이는 Ollama 이용자들의 GGUF 양자화 혼란을 줄이기 위해 글을 썼다며 하드웨어별 질문에 답할 준비가 되어 있다고 밝혔다.