필자는 Minimax H3에서 장면에 활용할 환경을 재사용하는 방법을 연구해 왔다. Reddit의 한 스레드에서 Minimax H3 레퍼런스 모델이 등장각형 파노라마를 환경으로 변환할 수 있다는 소개를 접했고, Krea2는 별도 설정 없이도 꽤 쓸 만한 등장각형 파노라마를 생성할 수 있다고 알려져 있었다.

그러나 이 방법을 직접 테스트한 결과 사실이 아니었다. H3는 프로젝션을 실제로 이해하지 못하며 샷이 충분히 줌인된 경우에 우연히 맞아떨어질 뿐이고, 복잡한 작업을 요구하면 뒤틀리고 기괴한 이미지가 생성됐다. 또한 환경 레퍼런스 이미지는 변경 요청이나 다른 환경으로의 장면 전환과 관련된 다른 모든 프롬프트를 압도하는 경향이 있었지만 이것이 힌트가 됐다. 비디오 레퍼런스는 이런 문제가 잘 발생하지 않기에 등장각형 파노라마를 일반 레퍼런스 비디오로 바꾸면 어떨까라는 발상이었다.

이는 ffmpeg로 간단히 처리할 수 있다. ffmpeg.exe -loop 1 -i space_apartment.png -vf "scroll=horizontal=0.025,v360=input=equirect:output=flat:h_fov=90:v_fov=90:w=3072:h=2048" -t 2 -c:v libx264 -pix_fmt yuv420p space_apartment.mp4 이후에는 결과 비디오를 레퍼런스 비디오로 사용하기만 하면 되며, 그 결과 상당히 일관적이고 뒤틀리지 않은 비디오를 얻을 수 있었다.

48프레임 정도의 레퍼런스면 충분했고, 저해상도 레퍼런스 비디오로도 작동하는 것으로 보이지만 세부 사항 재현은 떨어질 것으로 추측된다. 환경과의 상호작용에는 문제가 없었고 '침대'라고 말하면 레퍼런스 비디오 속 침대를 가리킨다는 점을 모델이 꽤 잘 이해한다. 물론 확산 모델의 일반적인 한계는 그대로 적용되어 특정 사물은 더 자세히 묘사해야 했는데, '창밖에서 찍은 샷'이라고만 요청하면 장면에 새 창문을 추가해 버렸지만 '침대가 뒤에 있는 아파트 내부가 보이는 창밖에서 찍은 샷'이라고 덧붙이자 이해했다. 또한 장면 변경 사항은 이후 샷에서 다시 설명해야 하는데, '부서진 거울 옆'이라는 표현을 빠뜨리자 이전 샷에서 부서졌던 거울이 다시 멀쩡한 상태로 나타났다.

모든 워크플로는 이미지와 비디오에 포함돼 있었으나 Reddit이 이미지와 비디오의 메타데이터를 제거한다는 점을 뒤늦게 파악한 작성자는 Krea2 파노라마, 잘못된 파노라마 비디오, 비디오 레퍼런스 기반 워크플로 세 가지를 외부 링크로 다시 공유했다.