작성자는 영상 생성 과정에서 잠재(latent) 공간의 열화(degradation)를 줄이는 아이디어를 실험해 왔다. 핵심은 정적 이미지 프레임을 잠재 공간 안에 두고 리샘플링 과정을 우회한 뒤, 클립의 앞부분이나 이전 클립에서 가져온 새 잠재값을 마스킹으로 뒷부분에 다시 붙여 프레임을 복구하는 방식이다. 이를 위해 모션 마스크로 잠재값을 진단용 디코딩해 픽셀 변화를 측정하고 움직임 픽셀과 안정 픽셀로 태그를 나눈 다음, 안정 픽셀은 마스킹해 앞으로 당겨 오고(pull forward) 움직임 픽셀은 그대로 둔다. 이 아이디어를 u/xyzdist의 FL2V 리샘플링 방식과 결합한 결과 열화가 절반으로 줄어 보이면서 배경도 대체로 안정적으로 유지된다. 여전히 열화는 존재하지만 속도가 느려졌을 뿐이며 당김과 리샘플링 설정은 계속 조정 중이고, 모든 과정은 잠재 공간에서 이뤄지며 디코딩은 진단 목적으로만 쓰인다.

노드 팩과 워크플로는 GitHub 저장소 roycho87/comfyui-h3-pullforward에서 내려받아 테스트할 수 있다. 덧붙여 작성자는 디렉터리 폴더에서 오디오를 업로드하는 노드(roycho87/comfyui-load-audio-batch-from-dir)도 공개했는데, 미리 준비한 오디오를 컨텍스트 모션에 쓰기에 적합하며 자신의 오디오 스플리터로 분할한 오디오를 순서대로 증분해 로드할 수 있다.

작성자는 이 프로젝트가 완전히 바이브 코딩(vibe coded)으로 만들어졌으며 자신은 프로그래머가 아닌 영상 편집자라고 밝힌다. 샘플링 후 당김 테스트에서는 배경 잠재값이 붙여졌음에도 배경이 여전히 열화되는 현상이 확인됐고, 초기 클립의 참조 잠재값을 쓰도록 설정돼 있어 배경 품질이 오히려 더 좋아야 한다는 점에서 다른 원인이 작동하고 있음이 제기됐다. 이는 생성이 진행될수록 잠재값이 열화된다는 가설에 기반한 것으로, 만든 것이 작동하지 않거나 열화 원인이 다른 곳에 있다는 뜻이다. 이에 생성 전체 길이에 걸쳐 첫 프레임 전체를 붙여 컨텍스트 모션에 넣는 테스트를 진행했으며, 디코딩된 영상이 단일 정지 프레임으로 나오면 당김 방식이 작동한다는 증거이고 여전히 열화되면 원인이 다른 영역에 있다는 뜻이 된다.

이후 당김 기능의 버그가 발견됐다. 정적 프레임 하나가 아니라 17프레임 블록을 통째로 당겨 오고 있었던 것으로, 이것이 열화의 원인일 수 있다. 프레임 하나를 고립시켜 블록 전체에 반복해 진정한 정적 잠재 이미지를 만들도록 수정이 진행됐으나, 잠재 프레임이 5프레임 블록으로 생성된 뒤 17프레임으로 디코딩되는 구조 탓에 17프레임 중 한 프레임을 복제하려면 단일 잠재 프레임을 편집해야 하는 블록 제약이 걸림돌로 남았다. 결국 새로운 '인코딩 에디터' 노드를 만들어 샘플러의 출력 잠재값을 통과시키고 잠재 프레임을 필요에 맞게 편집할 수 있게 됐으며, 완전한 정적 이미지를 확보한 상태에서 컨텍스트 모션에 넣어 열화 여부를 확인하는 중이다. 더 이상 잠재 공간에서 작업하는 것이 아니라 병렬 잠재 공간을 만들어 생성된 것의 일부를 교체하는 방식이기에 열화될 가능성이 없다는 판단이며, 이 변경을 당김 기능에 다시 통합하면 완전히 열화되지 않는 배경을 얻을 수 있다.

프리미어(Premiere)에서 차이 블렌드로 확인한 결과 연속 생성물이 모두 100% 검정으로 나와 서로 픽셀 단위로 동일한 복사본임이 입증됐고, 이 변경을 당김 기능에 반영하면 배경의 대부분이 열화되지 않을 것으로 기대된다. 최근 생성물은 상당히 좋은 품질을 보이며, 모션이 시작될 때 일부 영역에서 고스팅이 나타나는 문제는 이전 모션 마스크의 마지막 22프레임을 다음 모션 마스크의 처음 22프레임으로 이어 주는 '컨텍스트 모션 마스크' 방식으로 해결할 계획이다. 글은 /u/roychodraws가 제출했다.