Ben 10 Omnitrix 교정 장면 재현 (MiniMax H3)
원문 제목 — Recreated Omnitrix Calibration Scene Ben 10 (Mini Max H3)
📄 전문 번역
대사는 여전히 어긋나 있고 다이얼을 돌릴 때 시계가 이상하게 크기가 변하지만, 어느 정도 일관성은 갖춰졌다고 생각한다. 그저 이것이 성공한 것 자체가 놀라울 따름이다.
대사 싱크가 더 잘 맞았다면 그것만으로도 이미 큰 개선이 되었을 것이라고 본다. 이번이 첫 시도는 아니었는데, 모델이 너무 많은 것을 환각하는 바람에 약 10번 정도 재시도가 필요했다.
또한 당연한 이야기지만 클립에는 수동 편집이 이루어졌다. 이 게시물은 nUclear_nOva89가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Reddit 사용자 nUclear_nOva89가 MiniMax H3 영상 생성 모델로 Ben 10의 Omnitrix 교정 장면을 재현한 사례다. 애니메이션-실사 LoRA로 만든 키 프레임 스틸을 ComfyUI의 AddGuide 노드로 특정 프레임에 고정하고 원본 오디오를 함께 입력해 장면 단위로 생성했다. 대사 싱크 어긋남과 홀로그램 표현의 어려움 등 한계가 있었으며 약 10회 재시도와 수동 편집이 필요했다. 약 9초 이상 생성 시 원격 GPU가 다운되는 등 긴 장면 생성에는 기술적 제약이 있었다.
— 루키 · glm-5.3-flash:cloud
할리우드는 주목하라! 간단한 MiniMax 프롬프트조차 이기지 못하는 실사 제작이라면 방식이 잘못된 것이다!
이것을 어떻게 만들었는가? 각 장면의 첫 프레임/키 프레임을 Ref2I로 생성한 뒤, 꽤 상세한 프롬프트와 함께 MiniMax H3를 사용해 원본 영상의 움직임과 대사를 따라가게 한 것으로 추측한다.
전부 MiniMax H3이며 별도의 이미지 모델은 없다. 애니메이션을 실사로 바꾸는 LoRA를 적용한 H3로 원작 에피소드의 키 프레임을 실사 스틸로 변환한 다음, 원작에서 사건이 일어나는 정확한 프레임(각 홀로그램, 각 다이얼 클릭)마다 그 스틸들을 고정했다. 원본 대사와 효과음도 함께 입력해 타이밍이 맞도록 했고, 모델은 키 프레임 사이의 움직임을 채운다. 연기가 로봇처럼 보이지 않게 하는 데 많은 시도가 필요했고 홀로그램이 가장 어려운 부분이었다.
공유해 줘서 고맙다. H3에 애니메이션-실사 LoRA가 있다는 것조차 몰랐는데 나도 한번 시도해 볼 것 같다. 초보 질문인데, 애니메이션-실사 키 프레임 스틸을 모두 생성한 다음 정확히 다음 단계는 무엇인가? 그 스틸들을 첫/마지막 프레임으로 삼아 장면을 하나씩 만드는 것인가, 아니면 타임라인에 모든 스틸을 나열해 두고 한 번에 그 사이 움직임을 생성하게 하는 워크플로가 존재하는 것인가?
두 번째에 가깝다. H3에는 ComfyUI에서 AddGuide라 불리는 노드가 있어, 첫 프레임이나 마지막 프레임뿐 아니라 한 번의 생성 안에서 임의의 프레임 번호에 이미지를 고정할 수 있다. 그래서 각 장면(약 5~9초)마다 원작에서 해당 지점이 일어나는 정확한 프레임에 스틸 5~9장을 넣고 원본 오디오를 더하면, 모델이 장면 전체를 한 번에 생성한다. 이후에는 장면들을 이어 붙였다. 그만큼의 키 프레임으로 약 9초 이상 길게 생성하면 사용하던 원격 GPU가 다운되었기 때문에 장면을 짧게 유지했다.