필자는 한동안 MiniMax H3 VAE를 가지고 실험을 진행해 왔으며 드디어 그 결과를 공개하기로 했다. 원래 아이디어는 매우 단순했다. 필자는 이미 H3용 2X VAE를 직접 만들어 사용하고 있었지만, 추가되는 픽셀이 단순히 같은 재구성 결과의 확대판이 아니라 실제로 새로운 디테일을 담을 수 있는지 확인하고 싶었던 것이다. 그러나 이 실험은 예상보다 훨씬 긴 여정이 되었다.

필자는 디코더 수정, 패치·그리드 구조 우회, 다양한 디테일 잔차, 더 큰 공간적 디코더 등을 시도했고 결국 H3 인코더 내부에서 미세 정보가 실제로 어디서 사라지는지 추적하기 시작했다. 흥미로운 점은 발견한 최고의 디테일 신호가 일반적인 H3 잠재 병목 이전 단계에 존재한다는 것이었다.

결국 필자는 처음 풀고자 했던 문제를 실제로 해결하지는 못했다. 일반적으로 생성된 H3 잠재 표현에는 안타깝게도 그런 추가 정보가 담겨 있지 않다. 그러나 실패한 실험에서도 유용한 결과가 나왔기에 이를 2-in-1 형태로 패키징해 공개했다. 2X VAE 모드는 일반 H3 생성물에 대한 2배 비디오 VAE로 작동하며, 2X VAE + Detailed 모드는 레퍼런스 또는 이미지 기반 비디오 생성 워크플로용으로 강화된 레퍼런스를 H3에 넣기 전에 원본 이미지의 초기 인코더 정보를 추가로 활용한다.

모델과 ComfyUI 노드, 워크플로, 몇 개의 비디오 비교 자료가 함께 포함되어 있다. 실패한 실험들과 이 결과에 이르기까지의 과정이 궁금한 사람을 위해 필자는 전체 과정을 자신의 Hugging Face 페이지에 정리해 두었다. 분량이 상당히 길지만 성공한 부분만 보여주는 것이 아니라 막다른 길들도 함께 기록하려 노력했다고 밝혔다.

모델과 워크플로, 연구 노트는 Hugging Face에서 공개되어 있다.