매우 간단하지 않나? ㅎㅎ

워크플로우 파일을 업로드했다

참고로 LTX도 같은 기능을 한다. 가수가 담긴 음악 트랙과 함께 대규모 무리가 합류하는 장면을 담아 준 적도 있는데, 지시하지 않았는데도 무리가 타이밍에 맞춰 합창에 합류하는 영상을 만들어냈다.

오디오가 변경되지 않은 채 나오도록 보장하려면 어떻게 해야 하는가? 아니면 그냥 모델이 알아서 하게 두고 음악이 바뀌어도 괜찮다고 보는가?

일반적인 방법은 다음과 같다. 워크플로우에서 비디오 잠재 표현으로부터 오디오를 추출하는 VAEDecodeAudio 노드를 찾아 연결을 끊거나, CreateVideo(또는 SaveVideo) 노드의 오디오 입력을 외부 음악 파일을 담은 Load Audio 노드로 대신 연결한다. 이렇게 하면 모델이 자체 효과음이나 대사를 생성하지 못해 원본 트랙이 그대로 유지된다. 동기화를 위해서는 오디오 참조를 활용하는데, 오디오 트랙을 교체하지 않으면서 시각 콘텐츠가 음악에 반응하게 하려면 MiniMaxH3 Audio Reference 노드를 사용하고 CreateVideo 노드가 비디오를 받도록 한다.