일반 레퍼런싱보다 나은 점이 무엇인가? 더 빠른가, 일관성이 더 좋은가? 나는 캐릭터 정의뿐 아니라 씬 블로킹과 샷 간 연속성에도 레퍼런스 사진을 사용하는데, RefMod는 이런 용도에는 과한 것 같다.

수정: 원래 질문에 답하자면, 원하면 여전히 레퍼런스 파일을 배치할 수 있고 RefMod가 피사체의 움직임 방식, 미소, 버릇 같은 특정 디테일에 집중하게 할 수 있다. LoRA처럼 레퍼런스 이미지 요소를 유지하면서 스타일에도 사용할 수 있으며, 물론 스타일 인코딩에는 관련 이미지나 영상이 필요하다. 순수한 LoRA와 RefMod의 품질 비교는 할 수 없지만(H3 LoRA 학습을 시도해 본 적도 없다), 나쁘지 않은 LoRA류 대안이며 인코딩이 매우 빠르다는 점은 말할 수 있다(엄밀히는 학습이 아니므로)…

하지만 MiniMax H3에서는 사람, 장소, 사물에 대해 LoRA를 학습할 필요가 없다. 모델 자체가 이미지나 영상의 레퍼런스를 잘 처리한다. 그래서 묻는 것이다. 이미지나 영상을 직접 레퍼런스하는 것보다 이 작업에 시간을 쓰는 이유가 무엇인가? 모델이 LoRA만 사용한다면 모르겠지만 그렇지 않다. 전투 같은 모션 개선에는 LoRA가 유용할 수 있다고 보는데, 이 기법이 그런 것도 처리하는가?

이것은 이미지 50장 정도와 영상 몇 개를 받아들이면서도 시스템 메모리 부족(OOM)을 일으키지 않고, 생성 단계마다 엄청난 시간을 소모하지도 않는다. 레퍼런스를 최대한 활용해 훨씬 빠르게 더 완전한 이해를 얻는 영리한 기법들을 겹쳐 사용한다. 표준 Ref2VA보다는 완전하지만 LoRA보다는 상한선이 낮을 수 있다. 그래도 데이터셋 캡션 작업 없이 수많은 레퍼런스를 쌓아 넣고 즉시 작게 만들 수 있다면 매우 유용해 보인다. 또한 추가 캐릭터 처리에서는 LoRA보다 훨씬 낫다고 평가하는 이들이 많으며, 개념들을 더 잘 분리해 유지한다. 한편 LoRA는 아마도 …

레퍼런스 이미지가 이렇게 잘 작동하는데 캐릭터 LoRA 학습에 연산력을 낭비할 이유는 거의 없다고 본다. 그것은 필요 없는 새 모델에 낡은 기법을 적용하는 것이며 시간과 노력의 낭비라고 생각한다. RefMod를 테스트해 보고 싶지만 그 이점을 이해하고 싶을 뿐이다. RefMod에 사용할 수 있는 이미지 수의 확장은 잘 작동한다면 흥미롭다. 여러 장소 레퍼런스를 처리해 한 공간에 무엇이 있는지 더 완전한 개념을 제공할 수 있는지 확인하고 싶다. 또한 별도의 것을 함께 넣으면 mH3가 표정을 더 잘 처리한다는 점도 발견했다…