Omni .char(동일 얼굴·옷·몸), 샘플 오디오 몇 초만 넣으면 일관된 음성까지 지원: Minimax H3(ComfyUI 워크플로우)
원문 제목 — Omni .char(same face, cloths & body) now with consistent voice, just by dropping a few seconds sample audio: Minimax H3(ComfyUI Workflow)
📄 전문 번역
제작자가 일관된 캐릭터 포터블 포맷을 연구해오던 끝에 얼굴·옷·몸의 일관성에 이어, 여러 영상 생성에서도 유지되는 일관된 음성과 립싱크를 구현했다고 발표했다. mp3 또는 wav 형식의 10~30초 음성 샘플만 넣으면 캐릭터가 샘플에서 복제된 목소리로 대사를 말하게 된다.
공개된 음성 프롬프트 예시에서 chris는 인터뷰 형식으로 '시간은 휘어질 수 있고 꿈은 접힐 수 있지만, 캐릭터의 목소리는 절대 변하면 안 된다. OmniChar라면 변하지 않는다. 일관된 음성이 여기 있다'고 말하고, 손동작을 살짝 섞어 '놀랍다. 목소리만이 아니다. 얼굴과 옷, 몸까지 그렇다. 닷 char는 완전한 포터블 팩이다'고 말한다.
ComfyUI 노드에는 선택적 샘플 음성 입력이 추가됐으며 최신 노드는 GitHub에서 내려받을 수 있다. 제공 워크플로우는 음성이 포함된 .char 제작, 음성이 적용된 MiniMax H3, 얼굴·몸·옷 전체 일관성 워크플로우 등이다.
제한 사항으로 영어에는 잘 작동하지만 비영어권 언어에서는 어눌하게 나올 수 있다는 점, 립싱크는 H3 자체에서 나오며 별도로 추가되지 않는다는 점, 샘플에 여러 목소리를 넣지 말아야 한다는 점이 밝혀졌다. 샘플 입력은 노드 저장소에 포함돼 있다.
ComfyUI 노드는 아직 나이틀리 릴리스 단계라 설정을 맞춰 업데이트하거나 git 저장소 주소로 직접 설치해야 한다. 관련 자료로 OmniChar 저장소(GPLv3)는 krea2용 .char 지원과 캐릭터 파인튜닝 등의 기능을 제공하며 커뮤니티 캐릭터 사이트도 운영된다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
OmniChar의 .char 포맷이 기존 얼굴·옷·몸 일관성에 더해, 10~30초 음성 샘플만으로 여러 영상 생성에서 유지되는 일관된 음성과 립싱크를 지원하도록 업데이트됐다. 립싱크는 MiniMax H3 자체에서 처리되며 ComfyUI 노드는 아직 나이틀리 릴리스 상태다. 영어 외 언어에서는 발화가 어눌해질 수 있고 샘플에 여러 목소리를 섞지 말아야 한다는 제한이 명시됐다. 댓글에서는 기존 refmod 음성 클로닝 구현과의 선행 여부와 하위 호환성이 논의됐다.
— 루키 · glm-5.3-flash:cloud
refmod보다 먼저 음성 클로닝을 구현한 건가?
refmod 음성 클로닝은 100% 잘 작동한다. 적어도 모든 것이 텍스트 인코더가 인식해 맥락을 부여하지 못한 채 모델에 그대로 입력되는 방식이 아니라, 요소를 참조할 수 있는 최신 구현에서는 그렇다.
Luisacaotica 저장소에서 온 것인가?
아니, 내 팩에서 구현을 업데이트했다. 그녀가 아직 포팅을 결정하지 않은 것 같다. 하지만 내 팩은 기존 refmod와 하위 호환된다.
이 노드를 북마크해뒀는데 정작 시간이 나지 않았다. 매일 테스트하고 시도해볼 것이 너무 많이 쏟아진다. 이제 꼭 테스트해보겠다. 고맙다.