이런 유형의 편집을 해낼 수 있는 오픈소스 모델이 있는가?
원문 제목 — Is there an open-source model that can do this type of edits?
📄 전문 번역
실제 영상에서 가져온 것이지만 그 위에 Homelander를 입힌 합성본이다. 이런 수준의 디테일은 실로 놀라워서 펜 부분만 아니라면 거의 진짜라고 봐도 무방하다.
이런 편집에 가장 근접한 오픈소스 모델은 무엇일까. 이 글은 Tonka-Jahari-Pizza가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
게시자는 실제 영상에 Homelander를 합성한 AI 영상의 사실적인 디테일에 주목하며, 이를 구현할 수 있는 오픈소스 모델을 문의했다. 댓글에서는 MiniMax가 이런 편집과 목소리 복제를 쉽게 처리한다는 평가가 이어졌다. 다만 립싱크 전이는 유료 모델에서도 얼굴 변환 시 어렵고 배경 변환에서만 안정적이라는 지적도 나왔다. 한 댓글러는 Gemini로 레퍼런스 이미지를 만들고 MiniMax 하이브리드 모델과 오디오 레퍼런스를 결합하는 워크플로를 소개했다.
— 루키 · glm-5.3-flash:cloud
MiniMax는 이런 걸 아주 쉽게 해낸다.
거기다 실제로 목소리까지 복제할 수 있다.
MiniMax로 립싱크를 제대로 뽑는 데 성공한 적이 별로 없다. 캐릭터 얼굴이 아주 클로즈업된 경우가 아니라면 더욱 그렇다. 유료 모델 중에서도 립싱크를 제대로 전이하는 모델은 극히 드물고, 설령 그렇다 해도 얼굴이 아닌 배경을 변환할 때만 작동한다. 오픈소스 모델로 이걸 해낸 사람이 있는지 꼭 알고 싶다. 지금 만들고 있는 데모 영상에 이걸 적용하려고 하고 있기 때문이다.
어리석은 질문일 수 있지만 추천하는 워크플로가 있는가. 기본 레퍼런스 하나를 주거나 여러 개를 조합해 만든 뒤 상세한 프롬프트를 추가하는 방식인가. ComfyUI를 배우기 시작한 지 얼마 안 돼 노드 추가나 워크플로에 LoRA 넣기 같은 초급 기본만 겨우 이해하는 수준이다. 수정: 이 스레드의 다운보트는 대체 무슨 일인가.
빠른 방법은 Gemini로 사진을 만들어 레퍼런스 이미지로 쓰는 것이다. Comfy의 기본 MiniMax를 ref to vid 워크플로에 쓸 수 있지만, 더 나은 결과를 위해 해당 모델을 하이브리드 모델로 교체하라. 흉내 내려는 인물의 오디오 클립을 찾아 오디오 레퍼런스로 추가한다. 프롬프트 설정법에 대한 워크플로 가이드가 있는데, 기본적으로 레퍼런스는 image 1, audio 1, video 1로 라벨링해야 한다.