필자에게 H3의 레퍼런스 비디오를 활용해 생성 비디오 속 캐릭터 움직임을 제어하는 방법을 찾는 일은 깊고 어려운 난제였다. 대부분의 경우 결과는 만족스럽지 않았고, 샘플링 시간도 일반 생성보다 상당히 길었다. 물론 fun controlnet은 포즈와 움직임을 제어하는 '전통적인' 방법을 제공하지만 그 한계는 잘 알려져 있는데, 제어 비디오를 먼저 open pose로 변환해야 하므로 처리 시간이 늘어날 뿐만 아니라 신체 비율이 일치하지 않을 때 좋은 결과를 내기 어렵다.

이 문제로 고민하던 중 필자는 문득 또 다른 '전통적인' 접근법을 떠올렸는데, 이는 Flux의 controlnet으로 레퍼런스 이미지에서 일관된 캐릭터 생성을 구현했을 때 사용했던 바로 그 방식이다(Flux Fill, Kontext, Qwen Image Edit, Flux2 Klein이 등장하기 전의 일이었다). 원리는 간단하다. 이미지(현재는 비디오)를 입력해 아웃페인팅을 수행하고, 적절한 프롬프트와 함께 확장된 부분이 자연스럽게 원하는 결과가 되도록 하는 것이다.

필자는 자작 노드 'ComfyUI-MMH3-UltimateExtend'로 이 방법을 검증했으며 매우 잘 작동했다. 캐릭터의 신체 비율이 크게 달라도 비교적 일관된 움직임을 얻을 수 있다. 유일한 단점은 입력 비디오를 수용하기 위해 더 넓은 비디오 폭이 필요하고 그만큼 VRAM 소모가 커진다는 점이다. 워크플로우는 게시물의 링크에서 확인할 수 있으며, 이 글은 u/bbaudio2024가 제출했다.