MiniMax가 제공된 레퍼런스를 더 추상적인 버전으로 사용하게 만드는 방법을 궁금해하던 참이었는데, 이것이 하나의 해결책이 될 수 있어 보인다. 공유해 줘서 고맙다.

이 방식을 refmods가 strength를 적용하는 방식과 비교해 봤는가? refmods는 노이즈가 아니라 레이턴트의 흐릿한 버전 쪽으로 스케일링할 것을 제안하면서, 노이즈는 깨진 텍스처 등 뭉개진 콘텐츠를 유발한다고 설명한다. 인용: 0 쪽으로 스케일링하면 값이 정규화된 레이턴트 분포 밖으로 밀려나 회색 출력으로 읽히고, 무작위 노이즈와 섞으면 실제 같지만 뭉개진 콘텐츠로 읽혀 '더 약해진' 결과가 아니라 잘못된 텍스처로 디코딩된다. 흐릿한 복사본은 레퍼런스를 강하게 만드는 구체적 디테일을 버리면서도 매니폼드 위에 머문다. strength <= 0이면 블록을 완전히 제거한다.

빈 레이턴트는 전부 노이즈라 원본과 블렌딩하면 샘플러에 더 많은 자유를 준다는 주장에 대해, 빈 레이턴트는 0으로 가득한 텐서다. 블렌드 노드는 거의 확실히 LERP, 즉 samples1 * (1 - blend_factor) + samples2 * blend_factor를 수행하며, samples2가 모두 0이므로 이는 samples1 * (1 - 0.33), 곧 samples1 * 0.66과 정확히 같다. 따라서 그 워크플로는 레이턴트 곱셈 노드를 쓰는 것과 같고 원본 값의 66%로 스케일을 줄이는 것에 불과하다. 레이턴트에 노이즈를 원한다면 직접 추가해야 하며, 마침 그런 기능을 제공하는 노드 팩을 갖고 있다.

첫 프레임과 마지막 프레임을 지정할 수 있는 I2V 워크플로를 의미하는 것으로 추정한다. 하지만 시작 프레임이 아니라 가이드로서 레퍼런스를 전달하기만 하는 ref2vid 방식이라면 동작한다. 첫 프레임 I2V는 창의적으로 결과를 만들기보다 입력한 것을 그대로 복사할 가능성이 높다. 코드를 파고드는 사람들에게는 이를 우회할 방법이 분명 있을 것이다.

이를 원하는 방향으로 조종할 수 있다는 점은 확실히 흥미롭다. 다만 궁금한데, 이미지에 직접 노이즈를 추가해 본 적이 있는가?