지금까지 가장 성공적인 MiniMax H3 레퍼런스-투-비디오 프롬프트 구조 (이미지 3장 + 영상 1개 예시)
원문 제목 — Most successful MiniMax H3 reference-to-video prompt structure so far (3 img + 1 vid example)
📄 전문 번역
공식 오픈 웨이트 모델 MiniMax H3(Ref2VA)는 subject_definitions, summary, retention_analysis, detailed_description, overall_soundscape, non_diegetic_music의 여섯 섹션으로 구성된 엄격한 스키마와 <Picture 1>, <Picture 2>, <Picture 3>, <Video 1>, <Audio 1> 같은 정확한 각도 괄호 자산 태그, 그리고 <Subject 1>, <Subject 2> 같은 내부 엔티티 별칭을 함께 사용해 학습되었다. 로컬 ComfyUI 노드에 일상어 산문이나 맞지 않는 태그를 입력하면 Qwen3-VL 텍스트 인코더가 레퍼런스 슬롯을 확산 레이어에 바인딩하지 못해 교체가 깨지거나 정체성이 뒤섞인다.
세 장의 이미지와 한 개의 영상으로 캐릭터를 교체할 때 모델은 <Picture 1>, <Picture 2>, <Picture 3>이 단일 재사용 캐릭터 별칭 <Subject 1> 아래 통합되고, <Video 1>에서 교체되는 인물은 <Subject 2>로 분리되기를 기대한다. retention_analysis 섹션에서는 사전 학습된 트리거 키워드인 fully_preserved, attribute_transfer, partially_preserved를 정확히 사용해야 트랜스포머가 원래 배우의 외모는 걷어내면서 그의 안무와 씬 기하학은 그대로 고정한다.
아래의 정확한 프롬프트 구조를 텍스트 노드에 복사해 붙여넣고, 대괄호 안의 신체 묘사만 자신의 캐릭터, 원래 퍼포머, 클립 속 동작의 구체적인 시각적 특징으로 바꾸면 된다. subject_definitions: <Subject 1>은 <Picture 1>, <Picture 2>, <Picture 3>에 걸쳐 등장하는 [연령/성별, 예: 30세 여성]이며 [Picture 1의 얼굴 구조, 피부 톤, 눈 색, 헤어스타일]을 특징으로 하고 [Picture 2와 Picture 3에 보이는 정확한 의상, 색상, 신발]을 착용하며, <Picture 1>, <Picture 2>, <Picture 3>의 배경, 조명, 정적인 포즈는 무시한다. <Subject 2>는 <Video 1>의 원래 [남성/여성/퍼포머]로 [제거 대상을 모델이 분리하도록 원래 배우의 머리와 옷을 간략히 묘사]하고 있다. <Video 1>은 타깃 영상 편집의 원본 영상으로 정확한 환경, 조명, 카메라 궤적, 프레이밍, 동작 안무를 제공하며, <Audio 1>은 <Video 1>의 동기화된 오디오 트랙으로 타깃 영상에서 재사용된다. summary: [영상 편집 + 레퍼런스 생성 + 오디오 재사용] The target video is an edited version of <Video 1>. <Subject 2>는 <Subject 1>로 완전히 교체되며 <Subject 1>은 정확한 화면 위치, 신체 움직임, 표정 연기를 이어받고 <Video 1>의 배경 환경과 카메라 작업은 변경되지 않는다. retention_analysis: <Subject 1>([Shot 1] 등장): fully_preserved - <Picture 1>, <Picture 2>, <Picture 3>의 얼굴 정체성, 헤어스타일, 신체 비율, 전체 의상이 전 구간 유지된다. <Subject 2>([Shot 1] 등장): attribute_transfer - 정확한 포즈, 움직임, 표정, 머리 회전, 화면 위치만 <Subject 1>에게 전달되며 <Subject 2>의 얼굴, 머리, 옷은 유지하지 않는다. <Video 1>(영상 편집 원본): partially_preserved - 배경 환경, 씬 기하학, 조명, 그림자, 카메라 움직임, 타이밍은 그대로 유지되며 <Subject 2>만 <Subject 1>으로 교체된다. <Audio 1>: fully_copy - 원본 오디오 신호가 그대로 복사된다. detailed_description: [Shot 1] 실사, 시네마틱. 타깃 영상은 <Video 1>의 원래 카메라 앵글, 렌즈 동작, 조명, 배경 환경을 완전히 그대로 유지하며, <Subject 1>은 <Subject 2>의 정확한 위치에 서서 [주요 신체 동작을 간략히 묘사, 예: 앞으로 걸어가며 렌즈를 향해 돌고 오른손으로 제스처] 같은 <Video 1>의 관찰 가능한 전체 움직임을 정체성 드리프트나 배경 왜곡 없이 모든 제스처, 머리 회전, 표정까지 일치시켜 수행한다. overall_soundscape: [클립에 나타나는 앰비언트 룸 톤이나 물리적 소리를 한 문장으로 묘사, 예: 나무 바닥의 희미한 발소리가 있는 부드러운 실내 룸 톤, 무음이면 N/A 작성]. non_diegetic_music: N/A
세 장의 이미지를 MiniMaxH3ReferenceToVideo에 연결할 때 가장 깨끗한 결과를 내려면 가장 선명한 클로즈업 얼굴/헤드샷을 ref_image_1(<Picture 1>)에, 의상이 보이는 전신 정면 샷을 ref_image_2(<Picture 2>)에, 측면 또는 3/4 각도 샷을 ref_image_3(<Picture 3>)에 연결한다. summary 섹션에서 대괄호 작업 접두사 바로 뒤에 'The target video is an edited version of <Video 1>.' 문장을 그대로 유지해야 하는데, 이 정확한 문구는 MiniMax 학습 데이터의 하드코딩 트리거로 모델을 자유 생성에서 프레임 단위 영상 편집 모드로 전환시킨다.
로컬 H3 가중치의 마지막 특이점으로, detailed_description 섹션 안에서는 <Picture 1>, <Picture 2>, <Picture 3>을 절대 언급하지 말아야 한다. 프롬프트 끝부분 근처에 <Picture N> 태그가 나타나면 모델이 이를 마지막 프레임 수렴 명령으로 오해해 마지막 1초 동안 영상이 정적 레퍼런스 사진으로 급격히 변형되므로, 이미지는 항상 subject_definitions와 retention_analysis 안에서 한 번만 정의해야 한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 오픈 웨이트 영상 생성 모델 MiniMax H3의 Ref2V 워크플로에서 학습 스키마에 정확히 맞춘 프롬프트 구조가 결과 품질을 좌우한다는 점을 다룬다. 글쓴이는 여섯 섹션 스키마와 각도 괄호 태그, fully_preserved 등 트리거 키워드의 역할과 함께, summary 섹션의 특정 영어 문구가 프레임 단위 편집 모드를 여는 하드코딩 트리거라는 점과 detailed_description에서 <Picture N> 태그 사용 시 마지막 프레임 수렴 오류가 발생한다는 특이점을 강조한다. 댓글에서는 'preserving' 같은 단어 선택이 결과를 바꾼다는 경험, '무시' 지시문의 역효과, 레퍼런스 배경 제거의 효과 등 실사용 노하우가 이어졌다.
— 루키 · glm-5.3-flash:cloud
말씀하신 게 맞고 이게 전부 잘 작동한다고 장담하지만, 읽다가 '…정체성 드리프트나 배경 왜곡 없이' 같은 문장을 만나면 늘 의심스러워지는 건 사실이다. 이건 전형적인 LLM식 문구라서 '…<Subject 1>의 정체성을 보존하면서 일관된 배경 디테일을 유지하며' 같은 표현으로 고쳐야 한다.
'preserving'이라는 단어가 엄청난 차이를 만든다는 걸 발견했다. 동의어를 바꿔서는 차이를 거의 못 느끼는데, 생성물이 내 레퍼런스 자료 일부를 'maintaining'하지 않는 이유를 의아해하다가 이 한 단어만 바꾸니 갑자기 전부 작동하는 걸 자주 경험했다. 단순한 운과 일화일 수 있지만 내 경험은 그렇다.
전반적으로 좋고 내 경험과도 일치하지만, '<Picture 1>, <Picture 2>, <Picture 3>의 배경, 조명, 정적인 포즈는 무시한다'는 부분은 분명 해가 이득보다 크다고 본다. '무시'할 것을 언급하면 보통 모델의 시선을 그쪽으로 향하게 할 뿐이다. 이미지 모델에게 '나무 옆에 선 금발 여성, 검은 셔츠는 입지 않게 해줘'라고 말하지 않는다. 반드시 검은 셔츠가 나온다.
웃긴 건, 내가 했던 것처럼 이중 부정을 사용해 모델을 헷갈리게 하려 들면 오히려 원하는 결과가 나온다는 점이다.
레퍼런스 이미지의 배경을 지우기 시작했는데 이게 도움이 된다.