2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

지금까지 가장 성공적인 MiniMax H3 레퍼런스-투-비디오 프롬프트 구조 (이미지 3장 + 영상 1개 예시)

원문 제목 — Most successful MiniMax H3 reference-to-video prompt structure so far (3 img + 1 vid example)

📄 전문 번역

공식 오픈 웨이트 모델 MiniMax H3(Ref2VA)는 subject_definitions, summary, retention_analysis, detailed_description, overall_soundscape, non_diegetic_music의 여섯 섹션으로 구성된 엄격한 스키마와 <Picture 1>, <Picture 2>, <Picture 3>, <Video 1>, <Audio 1> 같은 정확한 각도 괄호 자산 태그, 그리고 <Subject 1>, <Subject 2> 같은 내부 엔티티 별칭을 함께 사용해 학습되었다. 로컬 ComfyUI 노드에 일상어 산문이나 맞지 않는 태그를 입력하면 Qwen3-VL 텍스트 인코더가 레퍼런스 슬롯을 확산 레이어에 바인딩하지 못해 교체가 깨지거나 정체성이 뒤섞인다.

세 장의 이미지와 한 개의 영상으로 캐릭터를 교체할 때 모델은 <Picture 1>, <Picture 2>, <Picture 3>이 단일 재사용 캐릭터 별칭 <Subject 1> 아래 통합되고, <Video 1>에서 교체되는 인물은 <Subject 2>로 분리되기를 기대한다. retention_analysis 섹션에서는 사전 학습된 트리거 키워드인 fully_preserved, attribute_transfer, partially_preserved를 정확히 사용해야 트랜스포머가 원래 배우의 외모는 걷어내면서 그의 안무와 씬 기하학은 그대로 고정한다.

아래의 정확한 프롬프트 구조를 텍스트 노드에 복사해 붙여넣고, 대괄호 안의 신체 묘사만 자신의 캐릭터, 원래 퍼포머, 클립 속 동작의 구체적인 시각적 특징으로 바꾸면 된다. subject_definitions: <Subject 1>은 <Picture 1>, <Picture 2>, <Picture 3>에 걸쳐 등장하는 [연령/성별, 예: 30세 여성]이며 [Picture 1의 얼굴 구조, 피부 톤, 눈 색, 헤어스타일]을 특징으로 하고 [Picture 2와 Picture 3에 보이는 정확한 의상, 색상, 신발]을 착용하며, <Picture 1>, <Picture 2>, <Picture 3>의 배경, 조명, 정적인 포즈는 무시한다. <Subject 2>는 <Video 1>의 원래 [남성/여성/퍼포머]로 [제거 대상을 모델이 분리하도록 원래 배우의 머리와 옷을 간략히 묘사]하고 있다. <Video 1>은 타깃 영상 편집의 원본 영상으로 정확한 환경, 조명, 카메라 궤적, 프레이밍, 동작 안무를 제공하며, <Audio 1>은 <Video 1>의 동기화된 오디오 트랙으로 타깃 영상에서 재사용된다. summary: [영상 편집 + 레퍼런스 생성 + 오디오 재사용] The target video is an edited version of <Video 1>. <Subject 2>는 <Subject 1>로 완전히 교체되며 <Subject 1>은 정확한 화면 위치, 신체 움직임, 표정 연기를 이어받고 <Video 1>의 배경 환경과 카메라 작업은 변경되지 않는다. retention_analysis: <Subject 1>([Shot 1] 등장): fully_preserved - <Picture 1>, <Picture 2>, <Picture 3>의 얼굴 정체성, 헤어스타일, 신체 비율, 전체 의상이 전 구간 유지된다. <Subject 2>([Shot 1] 등장): attribute_transfer - 정확한 포즈, 움직임, 표정, 머리 회전, 화면 위치만 <Subject 1>에게 전달되며 <Subject 2>의 얼굴, 머리, 옷은 유지하지 않는다. <Video 1>(영상 편집 원본): partially_preserved - 배경 환경, 씬 기하학, 조명, 그림자, 카메라 움직임, 타이밍은 그대로 유지되며 <Subject 2>만 <Subject 1>으로 교체된다. <Audio 1>: fully_copy - 원본 오디오 신호가 그대로 복사된다. detailed_description: [Shot 1] 실사, 시네마틱. 타깃 영상은 <Video 1>의 원래 카메라 앵글, 렌즈 동작, 조명, 배경 환경을 완전히 그대로 유지하며, <Subject 1>은 <Subject 2>의 정확한 위치에 서서 [주요 신체 동작을 간략히 묘사, 예: 앞으로 걸어가며 렌즈를 향해 돌고 오른손으로 제스처] 같은 <Video 1>의 관찰 가능한 전체 움직임을 정체성 드리프트나 배경 왜곡 없이 모든 제스처, 머리 회전, 표정까지 일치시켜 수행한다. overall_soundscape: [클립에 나타나는 앰비언트 룸 톤이나 물리적 소리를 한 문장으로 묘사, 예: 나무 바닥의 희미한 발소리가 있는 부드러운 실내 룸 톤, 무음이면 N/A 작성]. non_diegetic_music: N/A

세 장의 이미지를 MiniMaxH3ReferenceToVideo에 연결할 때 가장 깨끗한 결과를 내려면 가장 선명한 클로즈업 얼굴/헤드샷을 ref_image_1(<Picture 1>)에, 의상이 보이는 전신 정면 샷을 ref_image_2(<Picture 2>)에, 측면 또는 3/4 각도 샷을 ref_image_3(<Picture 3>)에 연결한다. summary 섹션에서 대괄호 작업 접두사 바로 뒤에 'The target video is an edited version of <Video 1>.' 문장을 그대로 유지해야 하는데, 이 정확한 문구는 MiniMax 학습 데이터의 하드코딩 트리거로 모델을 자유 생성에서 프레임 단위 영상 편집 모드로 전환시킨다.

로컬 H3 가중치의 마지막 특이점으로, detailed_description 섹션 안에서는 <Picture 1>, <Picture 2>, <Picture 3>을 절대 언급하지 말아야 한다. 프롬프트 끝부분 근처에 <Picture N> 태그가 나타나면 모델이 이를 마지막 프레임 수렴 명령으로 오해해 마지막 1초 동안 영상이 정적 레퍼런스 사진으로 급격히 변형되므로, 이미지는 항상 subject_definitions와 retention_analysis 안에서 한 번만 정의해야 한다.

💬 주요 댓글 번역 (5)

1 익명1

말씀하신 게 맞고 이게 전부 잘 작동한다고 장담하지만, 읽다가 '…정체성 드리프트나 배경 왜곡 없이' 같은 문장을 만나면 늘 의심스러워지는 건 사실이다. 이건 전형적인 LLM식 문구라서 '…<Subject 1>의 정체성을 보존하면서 일관된 배경 디테일을 유지하며' 같은 표현으로 고쳐야 한다.

2 익명2

'preserving'이라는 단어가 엄청난 차이를 만든다는 걸 발견했다. 동의어를 바꿔서는 차이를 거의 못 느끼는데, 생성물이 내 레퍼런스 자료 일부를 'maintaining'하지 않는 이유를 의아해하다가 이 한 단어만 바꾸니 갑자기 전부 작동하는 걸 자주 경험했다. 단순한 운과 일화일 수 있지만 내 경험은 그렇다.

3 익명3

전반적으로 좋고 내 경험과도 일치하지만, '<Picture 1>, <Picture 2>, <Picture 3>의 배경, 조명, 정적인 포즈는 무시한다'는 부분은 분명 해가 이득보다 크다고 본다. '무시'할 것을 언급하면 보통 모델의 시선을 그쪽으로 향하게 할 뿐이다. 이미지 모델에게 '나무 옆에 선 금발 여성, 검은 셔츠는 입지 않게 해줘'라고 말하지 않는다. 반드시 검은 셔츠가 나온다.

4 익명4

웃긴 건, 내가 했던 것처럼 이중 부정을 사용해 모델을 헷갈리게 하려 들면 오히려 원하는 결과가 나온다는 점이다.

5 익명5

레퍼런스 이미지의 배경을 지우기 시작했는데 이게 도움이 된다.

🔍 루키 분석

이 게시물은 오픈 웨이트 영상 생성 모델 MiniMax H3의 Ref2V 워크플로에서 학습 스키마에 정확히 맞춘 프롬프트 구조가 결과 품질을 좌우한다는 점을 다룬다. 글쓴이는 여섯 섹션 스키마와 각도 괄호 태그, fully_preserved 등 트리거 키워드의 역할과 함께, summary 섹션의 특정 영어 문구가 프레임 단위 편집 모드를 여는 하드코딩 트리거라는 점과 detailed_description에서 <Picture N> 태그 사용 시 마지막 프레임 수렴 오류가 발생한다는 특이점을 강조한다. 댓글에서는 'preserving' 같은 단어 선택이 결과를 바꾼다는 경험, '무시' 지시문의 역효과, 레퍼런스 배경 제거의 효과 등 실사용 노하우가 이어졌다.

— 루키 · glm-5.3-flash:cloud