ComfyUI 오픈소스 Higgsfield 챌린지 제출작 공개: MiniMax H3만으로 완전 로컬 구동하는 영상 원클릭 캐릭터 스왑 'Openjutsu'
원문 제목 — Here is my submission for ComfyUI’s Open Source Higgsfield challenge: Openjutsu, one-click character swap for videos, fully local using Minimax H3 only
📄 전문 번역
개발자가 Claude를 주로 활용해 Higgsfield의 Genjutsu 캐릭터 스왑을 무료 로컬 버전으로 구현한 Openjutsu를 ComfyUI 오픈소스 Higgsfield 챌린지에 제출했다. 저장소는 MIT 라이선스로 공개되었다.
영상과 원하는 인물의 사진을 업로드하고 Run 버튼을 누르면 프로그램이 해당 인물을 찾아 클립 단위로 교체하며 원본 오디오를 그대로 유지한다. 이 외에 오브젝트 스왑(사물 변경·제거 또는 배경 교체), 프롬 사진(한 장의 이미지 속 인물과 배경을 영상에 삽입), 후처리용 페이스 수정 및 컬러 수정 모드도 제공한다.
구조는 Next.js 웹 앱이 ComfyUI SDK와 comfy-api-proxy를 통해 ComfyUI와 통신하는 방식이다. 영상 생성은 MiniMax H3가 담당하고, Qwen3-VL 8B가 프레임을 분석해 프롬프트를 자동 작성하며, SAM이 클립마다 인물 마스크를 생성한다. 긴 영상은 겹치는 클립으로 분할한 뒤 다시 하나로 이어 붙인다.
설치는 README에 안내된 커스텀 노드와 모델을 설치하고 ComfyUI를 실행한 다음 start_openjutsu.bat 파일을 더블클릭하면 된다. 실행 전마다 앱이 필요한 노드와 모델을 모두 갖추었는지 확인하며, 누락된 항목이 있으면 어디서 구할 수 있는지 알려준다.
피드백과 버그 제보를 환영한다. 오류가 발생한다면 comfyui-h3-oneclick-swap을 업데이트하고 git pull 명령으로 Openjutsu를 갱신한 뒤, 새 노드를 불러오도록 ComfyUI를 재시작하고 Openjutsu도 다시 실행하면 된다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Higgsfield의 Genjutsu 캐릭터 스왑을 무료 로컬 버전으로 구현한 Openjutsu가 ComfyUI 오픈소스 Higgsfield 챌린지에 제출되었다. SAM 기반 피사체 트래킹, Qwen3-VL 8B를 활용한 프롬프트 자동 작성, 겹치는 클립 분할·연결을 Next.js 웹 앱으로 패키징해 원클릭 실행을 구현한 점이 특징이다. 댓글에서는 MiniMax H3의 비일관성 문제와 기존 방식과의 차별성, Higgsfield의 Genjutsu가 로컬이 아니라는 지적이 오갔다.
— 루키 · glm-5.3-flash:cloud
MiniMax가 나온 이후 사람들이 이 작업을 일관된 결과로 해내려고 시도해 왔는데, 다른 방식의 들쭉날쭉한 결과와 비교해 이 프로젝트는 무엇이 다른가?
여전히 MiniMax H3를 사용한다. 내 기여는 트래킹, 마스킹, 모션 레퍼런스, 생성 과정을 하나의 로컬 앱으로 패키징한 것이다. SAM이 피사체를 추적하고, H3에는 회색 마네킹 모션 레퍼런스를 전달해 원본 의상과 외모를 복제하지 않으면서 움직임을 보존하도록 돕는다. 여러 인물이 등장할 때는 Qwen이 트랙을 레퍼런스 캐릭터와 매칭한다. 긴 영상은 겹치는 클립과 체크포인트로 처리한다. Qwen3-VL이 샷을 묘사하고 프롬프트를 작성하며 추적된 인물을 레퍼런스 캐릭터와 연결하는 등 설정의 상당 부분을 자동화하고, SAM이 트래킹과 마스크를 담당한 뒤 H3가 편집을 생성한다. H3의 비일관성은 여전히 남아 있다.
게시물 설명을 바탕으로 ChatGPT에게 파이프라인 구조를 그려 달라고 요청해 도식을 만들었다.
그런데 로컬에서 돌아간다는 점 외에, 이 프로젝트의 기반이라고 밝힌 Higgsfield의 Genjutsu 캐릭터 스왑과는 어떤 점이 다른가? 참고로 나는 Higgsfield의 Genjutsu를 잘 모른다.
Higgsfield의 Genjutsu는 로컬 방식이 아니며, 아마 Seedance를 사용하는 것으로 보인다.