R2V를 제대로 작동시키지 못한다는 게시물이 이곳에 수없이 올라오는 것을 보아 왔다. 필자 역시 그중 한 명이었기에 지난 2주 반 동안 이 워크플로우와 커스텀 노드를 만들어 왔다. 먼저 밝히지만 이것은 네이티브 H3 모델이 하지 않는 무언가를 해주는 것이 아니다. 다만 H3 R2V 모드를 극도로 간단하게 쓰고 성공 확률을 높이고 싶었을 뿐이다. 워크플로우는 미디어를 전사하고 프롬프트를 반영해 참조 모델에 바로 쓸 수 있는 형식의 R2V 프롬프트를 만들어 주는 두 개의 커스텀 노드를 포함한다. 다음 목표는 짧은 생성을 연쇄로 이어 붙여 일관된 출력을 내는 장편 R2V 구현이다.

이 워크플로우가 하는 일은 다음과 같다. 영상을 사용할 경우 영상을 스캔해 캡션을 붙이고 오디오를 전사한다. 모든 이미지에 캡션을 붙이므로 순수 이미지-투-비디오 워크플로우로도 활용할 수 있다. 사용자가 고른 소형 LLM을 로드해 사용자 프롬프트에 담긴 의도에 맞춰 올바른 형식의 H3 R2V 프롬프트를 작성한다. 풀 워크플로우를 사용하면 영상 생성까지 진행한다.

하지 않는 일도 있다. 대신 창의적인 아이디어를 만들어 주지는 않는다. 현재 워크플로우는 프롬프트 포맷팅만 수행하도록 설정되어 있어 새로운 아이디어를 생성하지 못한다(시도는 해봤다. Qwen3.8 27B가 이 용도에는 더 나을 수 있다). 마법도 부리지 못한다. 여전히 H3 모델이 할 수 있는 것과 없는 것의 한계 안에 머무르며 복잡한 장면은 여전히 매우 어렵다.

팁을 정리하면 다음과 같다. VRAM이 적다면 프롬프트 인핸서를 먼저 별도로 실행하고 결과를 읽어 필요하면 프롬프트를 고치는 방식을 고려하라. H3 모델은 시스템 자원에 연동된 것으로 보이는 제한된 컨텍스트 윈도우를 가져, 이를 넘기면 음성이 깨지거나 움직임이 뒤섞일 수 있다. 이는 더 나은 성공을 원한다면 출력 길이와 출력 해상도를 낮추라는 신호다. H3는 도구일 뿐 사용하는 것은 사용자 자신이다. 감정을 지정하지 않으면 무표정한 결과를 각오해야 한다. 현재 구성은 의도한 것만 수행하며 엉망인 프롬프트를 넣으면 엉망인 영상이 나온다.

영상이 쉬우면 교체도 쉬울 것이다. 다만 H3에는 특이점이 하나 있는데, 원본 인물과 새 인물이 너무 닮으면 가끔 원본으로 되돌아가는 수렴 현상이 생긴다. 프롬프트로도 항상 해결되지 않는데, 이럴 때는 중간 단계를 두고 인물을 바꾸는 방식(얼굴 없는 초록색 인물)을 고려하면 새 몸과 얼굴이 더 잘 전달된다. 대안으로 Sam3 캐릭터 교체 방식을 찾아보는 것도 방법이다. 장면에 사람이 여러 명이라면 장면을 제대로 묘사하라. 흰 반바지를 입은 남자를 <picture 1>의 남자로 교체하라는 지시가 남자를 <picture 1>로 교체하라는 지시보다 항상 낫다. 복잡한 장면은 매우 어렵다(직접 시도해 봤다). 사람이 너무 많거나 컷이 많거나 캐릭터가 가려진 장면은 모델이 제대로 식별하고 교체하기 어렵다. LLM에 맥락을 제공하라. 사용자 프롬프트에 <video 1>은 두 소녀가 초콜릿 아이스크림 한 컵을 먹는 영상이라는 식의 한 줄을 넣으면 LLM이 무엇을 보고 있는지 이해하는 데 큰 도움이 되며 특히 여러 장면에서 유용하다. 여전히 시드에는 약간의 운이 필요하다.