이제 transformers에서 GGUF를 네이티브로 지원한다
원문 제목 — GGUFs in transformers natively!
📄 전문 번역
Hugging Face의 Aritra가 transformers 라이브러리의 최신 변경 사항을 알리며, 이제 GGUF(llama.cpp 양자화 모델)를 네이티브로 지원한다고 발표했다. 다음과 같이 사용할 수 있다: from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "unsloth/Qwen3.5-4B-GGUF" filename = "Qwen3.5-4B-Q4_K_M.gguf" model = AutoModelForCausalLM.from_pretrained(model_id, gguf_file=filename) 모델을 로드한 후에는 일반 Transformers API를 그대로 사용하면 된다.
이 기능을 추가한 이유는 다음과 같다. 양자화 모델은 크기가 작아 노트북에서도 구동할 수 있고, PyTorch 도구를 그대로 활용할 수 있어 디버깅에 유리하며, 디버깅, 평가, 커스텀 생성 작업이 훨씬 수월해진다.
지원되는 Apple Silicon 환경에서는 ggml 커널을 재사용해 모델이 패킹된 양자화 가중치에서 직접 실행된다. M2 Max에서 테스트한 Qwen 체크포인트 기준으로 Transformers는 Qwen3.5-4B Q4_K_M에서 70.4 tok/s를 기록해 llama.cpp의 71.8 tok/s에 근접했고, Qwen3.8-27B UD-Q4_K_M에서는 15.9 tok/s로 llama.cpp의 13.4 tok/s를 앞섰으며, Qwen3.5-35B-A3B UD-IQ4_XS에서는 60.2 tok/s로 llama.cpp의 61.3 tok/s에 근접했다.
이번 기능은 llama.cpp를 대체하려는 것이 아니다. 최대 로컬 추론 성능만이 목적이라면 llama.cpp가 여전히 더 나은 선택일 것이다. 핵심은 동일한 GGUF 모델을 더 유연한 환경에서 사용할 수 있게 됐다는 점이다. 자세한 내용은 Hugging Face 블로그의 transformers-llama-cpp-quants 포스트에서 확인할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Hugging Face가 transformers 라이브러리에서 GGUF 양자화 모델을 네이티브로 로드하는 기능을 발표했다. 지원되는 Apple Silicon 환경에서는 ggml 커널을 재사용해 패킹된 양자화 가중치로 직접 실행되며, M2 Max 테스트에서 llama.cpp와 비슷하거나 일부 더 높은 추론 속도를 기록했다. 개발 측은 이 기능이 llama.cpp의 대체가 아니라 동일한 GGUF 모델을 더 유연한 환경에서 활용하기 위한 것임을 밝혔다. 댓글에서는 ComfyUI 네이티브 지원 여부에 대한 기대와 아직 로더가 필요하다는 지적이 오갔다.
— 루키 · glm-5.3-flash:cloud
미쳤네요... 다음 comfy transformers 업데이트가 적용되면 ComfyUI에도 네이티브 GGUF 지원이 생길까요? 아니면 여전히 comfy gguf 로더가 필요한 건가요? 이러면 제 커스텀 노드는 망한 것 같네요.
네이티브 지원이 제대로 안착하면 커스텀 노드는 안녕이겠네요.
Transformers는 Python입니다.
comfy gguf 로더가 여전히 필요한가요? 네, 여전히 gguf-loader가 필요합니다. 사실상 다음 외에는 동작하지 않는데, 초기 지원 범위는 Apple Silicon에서의 로컬 추론이며 Qwen3.x 아키텍처부터 시작합니다.
속은 듯 달콤한 소식이네요. ComfyUI에서 일급 GGUF 지원이 되면 정말 게임 체인저일 텐데, 그게 간절히 바라는 점입니다.