[업데이트] ComfyUI용 Qwen-Image 2.1 프롬프트 인핸서, 네이티브 ComfyUI 대비 2~3.5배 빨라지고 8GB VRAM에서도 구동(무검열 버전 포함)
원문 제목 — [Update] Qwen-Image 2.1 prompt enhancer in ComfyUI: now 2–3.5× faster than native ComfyUI and runs even on 8 GB VRAM (plus uncensored versions)
📄 전문 번역
지난주 공개된 ComfyUI용 Qwen-Image 2.1 프롬프트 인핸서 커스텀 노드가 llama.cpp 백엔드 추가로 네이티브 ComfyUI 대비 2~3.5배 빨라지고 8GB VRAM에서도 구동 가능해지는 업데이트를 맞이했다. 작성자는 비교 이미지가 모바일 세로 화면에 맞지 않아 가로 모드로 보라는 안내를 덧붙였다. 이 노드는 프롬프트 인핸서를 쓰려면 LM Studio로 전환해 모델을 언로드하고, ComfyUI에 프롬프트를 복사해 붙여넣은 뒤 다시 모델을 언로드하는 과정을 반복해야 했던 불편을 없애고 ComfyUI 안에서 모든 작업을 끝내려는 목적으로 만들어졌다. ComfyUI 네이티브 Generate Text 노드가 너무 느려 MTP 헤드를 추가했고, Comfy-Org PE 체크포인트를 사용하는 ComfyUI 네이티브 텍스트 생성 대비 1.4~1.7배 빠른 속도를 확보했다.
이후 속도를 더 끌어올리고 작은 GPU에서도 구동할 수 있는지 확인하기 위해 댓글에서 언급된 llama.cpp를 두 번째 백엔드로 추가했으며, RTX 4090 노트북 16GB에서 공식 max_length(텍스트-이미지 16256, 편집 24000), 편집 시 입력 이미지 2장 조건으로 벤치마크를 진행했다. 텍스트-이미지 생성은 ComfyUI MTP off 기준 23.5 tok/s에서 MTP 추가 시 33.9 tok/s(1.44배), llama.cpp Q8_0 적용 시 46.8 tok/s(기준 대비 1.99배), Q4_K_M 양자화 시 63.2 tok/s(2.69배)를 기록했다. 입력 이미지 2장을 쓰는 편집에서는 기준 19.4 tok/s가 MTP 추가로 32.6 tok/s(1.68배), llama.cpp Q8_0으로 67.8 tok/s(3.49배), Q4_K_M으로 85.2 tok/s(4.39배)까지 올라가 특히 편집에서 속도 이득이 컸다. 이전 릴리스는 결과 잘림 위험을 감수하고 max_length를 8192로 줄여 속도를 얻었지만 llama.cpp에서는 max_length 변경이 생성 속도에 거의 영향을 주지 않으며, 이전 버전과의 엄격한 비교에서 llama.cpp Q8_0의 이득은 t2i 1.53배, 편집 2.43배로 작아졌지만 여전히 유의미하고 Q8_0은 품질 변화가 없다는 것이 테스트에서 확인됐다.
작성자는 프롬프트 인핸서의 실제 효과를 보여주기 위해 같은 시드와 설정에서 프롬프트를 Qwen-Image에 바로 넣은 결과와 인핸서를 거친 결과를 나란히 비교했으며, 인핸서는 이미지 내 텍스트, 복잡한 장면, 여러 변경이 포함된 편집에서 가장 도움이 됐다고 밝혔다. 세부 사항은 GitHub 저장소 ComfyUI-Qwen-Image-2.1-PromptEnhancer-MTP에서, GGUF 모델은 Hugging Face에서 확인할 수 있다. 요구 사항은 ComfyUI v0.37.0 이상이고, llama.cpp 백엔드는 Windows 또는 Linux의 NVIDIA GPU에서 8GB 이상 VRAM이 필요하며 8~12GB는 Q4_K_M, 16GB 이상은 Q8_0을 쓰면 된다. ComfyUI 백엔드는 지원되는 어떤 GPU든 사용 가능하고 16GB가 권장되며, 시스템 RAM은 32GB가 권장된다. 디스크 공간은 모델당 Q8_0 9.8GB 또는 Q4_K_M 6.0GB에 편집용 비전 부분 0.9GB와 llama-server 0.7GB가 추가로 필요하다.
이번 업데이트의 새로운 점은 로더에서 선택하는 MTP 지원 llama.cpp 백엔드, Q4_K_M으로 8GB VRAM 구동, 첫 사용 시 llama-server와 GGUF 모델 자동 다운로드, 두 백엔드 모두에서 동작하는 무검열(Heretic) GGUF 버전 제공이며, AMD, Intel, Mac을 위한 ComfyUI 백엔드도 그대로 유지됐다. 노드는 Qwen의 공식 시스템 프롬프트와 샘플링 설정을 사용하고 재작성된 프롬프트를 추론 내용과 별도로 출력하며 최대 10장의 입력 이미지로 편집을 지원한다. 설치는 ComfyUI Manager의 Custom Nodes Manager에서 Qwen-Image 2.1 Prompt Enhancer (MTP)를 검색해 설치하거나 custom_nodes 폴더에 클론한 뒤 ComfyUI를 재시작하면 되고, 어느 쪽이든 추가 설치는 필요 없다. 첫 실행 시 노드에 진행 상황이 표시되며 모델과 llama-server를 다운로드하고, 다운로드가 중단되면 워크플로를 다시 실행하면 이어받는다. 저장소 workflows 폴더의 샘플 워크플로 PNG를 ComfyUI로 끌어다 놓으면 시작할 수 있고, llama.cpp 백엔드용 텍스트-이미지 및 편집 워크플로 JSON도 함께 공개됐다. 생성 속도가 느리면 양자화를 Q4_K_M으로, NVIDIA GPU가 아니면 로더 백엔드를 ComfyUI로 설정하라고 안내했다.
작성자는 이제 다른 앱으로 전환할 필요 없이 ComfyUI에서 모든 작업을 처음부터 끝까지 처리해 흐름이 단순해졌고 생성하고 싶은 것을 고민하는 데 더 시간을 쓸 수 있게 됐다며, 다음 작업을 고민 중이니 현재 노드에서 부족한 점에 대한 요청을 달라고 말했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
ComfyUI용 Qwen-Image 2.1 프롬프트 인핸서 커스텀 노드에 MTP를 지원하는 llama.cpp 백엔드가 추가되면서 RTX 4090 노트북 벤치마크에서 편집 기준 최대 4.39배의 속도 향상을 보였다. Q4_K_M 양자화 덕분에 최소 VRAM 요구 사항이 8GB까지 낮아져 저사양 GPU 사용자도 활용할 수 있게 됐다. 댓글에서는 llama-server 자동 다운로드의 옵션화 요청과 함께 약 2주 내 네이티브 텍스트 생성을 약 2배 개선할 ComfyUI 측 최적화가 예고됐다.
— 루키 · glm-5.3-flash:cloud
구성 가능한 외부 서버 지원과 llama-server 다운로드를 옵션으로 제공하는 편이 좋겠다. 잠재적으로 중복된 서버 소프트웨어를 자동으로 내려받는 것은 불필요한 블로트다.
중복된 서버가 자동으로 다운로드되지 않도록 llama.cpp를 최신 상태로 유지할 계획이었다. 하지만 타당한 지적이므로 작업해 보겠다. 감사한다.
앞으로 약 2주 안에 많은 시스템에서 네이티브 텍스트 생성을 약 2배 개선할 최적화가 도착할 예정이다. ninfer를 비롯해 더 최적화된 추론 엔진이 많기 때문에 결국 llama.cpp보다 빨라지는 것도 불가능하지 않다.
정말 반가운 소식이다.
어차피 LM Studio도 llama.cpp 기반으로 돌아가고 모델 언로드도 요청할 수 있으니, 백엔드(LM Studio)를 유지한 채로 이 모든 작업을 할 수 있었을 것이고 지금과 같은 방식으로 자동화할 수도 있었을 것 같다.