ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT v1.6.6 업데이트 - 네이티브 ConvRot W4A8 지원 및 DisTorch2 적용 범위
원문 제목 — Updated ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT v1.6.6 - Native ConvRot W4A8 Support & DisTorch2 Scope
📄 전문 번역
며칠 전 v1.5.7 관련 정보를 게시했을 때 댓글에서 w4a8 지원 요청을 받았다. 처음에는 비교적 수월하게 구현할 수 있으리라 생각했지만 실제로 시도해보니 상당히 고생했고, 그래도 안정적으로 동작하도록 만드는 데 성공해 v1.6.6으로 공개한다.
먼저 w4a8의 장점으로는 벤치마크 결과에서 NVFP4보다 품질이 우수하다는 점이 명확히 드러나며, 그러면서도 크기는 4비트 수준이다.
반면 기대만큼 좋지 않았던 점은 VRAM 소비량이 ConvRot INT8과 거의 비슷했다는 것(다만 w4a8은 가중치를 8비트로 확장하므로 예상된 결과다)과, 그동안 공들여 구현한 DisTorch2와 함께 사용하면 오히려 VRAM 사용량이 급증해 사용할 수 없게 되었다는 점이다. DisTorch2를 사용하지 않으면 되는 문제이므로 치명적인 결함은 아니다.
VRAM 스파이크에 대응하기 위해 기존 DisTorch2에 구현되었던 Norm BF16 온/오프 기능이 이번에는 Legacy Loader에도 구현되었다. 이 기능을 활성화하면 약간의 화질 저하를 감수하는 대신 최대 약 3GB까지 VRAM 스파이크를 억제할 수 있다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
ComfyUI-SeedVR2-VideoUpscaler-with-TensorRT가 네이티브 ConvRot W4A8 지원을 추가한 v1.6.6을 공개했다. W4A8은 NVFP4 대비 우수한 품질을 4비트 수준 크기로 제공하지만 VRAM 소비는 ConvRot INT8과 비슷하고 DisTorch2 조합 시 VRAM이 급증하는 한계가 있다. DisTorch2의 VRAM 스파이크 대응용이던 Norm BF16 온/오프 기능이 Legacy Loader에도 추가되어 최대 약 3GB의 스파이크를 억제할 수 있다. 개발자는 ComfyUI 자체가 속도와 VRAM의 병목일 수 있다고 보며 실제 속도 비교를 추후 추가할 계획이다.
— 루키 · glm-5.3-flash:cloud
벤치마크가 무엇인가요? 속도 이득은 얼마나 되나요?
댓글에 감사한다. 벤치마크는 내가 직접 만든 것으로 간단한 스크립트이며, W4A8은 벤치마크에서만 엄청난 속도 향상을 보이지만 ComfyUI에서 실행할 때는 그만큼의 속도 차이를 체감하기 어렵다. 나중에 ComfyUI에서 ConvRot INT8과의 실제 속도 비교를 글에 추가할 예정이다. 속도뿐 아니라 VRAM 소비 측면에서도 ComfyUI 자체가 병목일 가능성이 높다는 점을 잘 알고 있으며, SeedVR2만 실행하는 독립형 프로그램을 만드는 편이 훨씬 더 …