하단 영상의 기이한 현상은 3분 23초부터 확인할 수 있다. 필자는 어제 저하되는 잠재(latent)를 수정하려는 실험에 관한 게시물을 올렸다. 공개된 영상은 일반 잠재 체인과 필자의 Pull Forward 노드, 그리고 u/xyzdist의 리샘플 방식을 활용해 잠재 저하에 맞서려고 19개 클립을 연결한 것이다.

필자가 u/ShutUpYoureWrong_에게 설명한 아이디어는 다음과 같다. 움직이는 픽셀은 저하 속도가 느린 반면 정적인 픽셀이 빠르게 저하되며, 영리한 minimax는 이미지 일관성을 유지하려고 배경의 저하되는 픽셀을 가져다 움직이는 픽셀까지 저하시킨다는 가설이었다. 이것이 사실인지는 모르지만 작업 방향을 잡게 해준 생각이라고 한다.

필자는 배경이 아니라 움직임을 겨냥하고 있다고 밝혔다. 배경을 겨냥했다면 SAM을 쓰면 되겠지만, 실제로는 움직이는 픽셀을 피하고 정적인 픽셀을 교체·수리하는 방식이며, 정적인 픽셀을 끝까지 유지하면 전체 이미지의 저하가 멈추거나 최소한 더 느려질 것이라는 이론이었다고 한다.

이 작업에서 배경에 초점을 둔 이유는 u/xyzdist가 FL2V를 활용한 리샘플링으로 저하된 픽셀을 씻어내는 방식을 만들었지만 배경이 계속 변한다는 문제에 부딪혔기 때문이다. 필자는 이를 보고 두 방법이 모르는 사이에 같은 해결책의 상보적인 절반을 이루고 있다고 생각했으며, 잠재 마스킹으로 모션 마스크를 통해 수리된 배경을 보호하면 u/xyzdist의 방식이 나머지 픽셀을 리샘플링해 컨텍스트 모션에 깨끗하고 새로운 잠재를 제공할 수 있다고 판단했다.

이 개념은 실제로 작동했다. 영상에서 배경 영역 대부분이 저하를 피하는 모습을 볼 수 있지만, 잠재 공간의 작동 방식 때문에 잠재를 최소 한 번은 디코딩 후 재인코딩하지 않고서는 이를 구현할 수 없다고 판단하며 이것이 다음 단계라고 한다. 그런데 시도하던 작업의 최종 버전에서 기이한 일이 벌어졌다. 저하된 품질과 Pull Forward 사이에서 잠재가 극한까지 늘어난 탓인지 3분 23초 부근에서 품질이 고무줄처럼 거의 완벽한 수준으로 튕겨 돌아온 것이다. 필자는 자신의 이론이 맞다는 것 외에는 이 현상을 설명할 방법이 없다고 밝혔으며, 이는 편집이 아니라 내보내기 영상 그대로라고 강조했다. 재현을 돕기 위해 GitHub 저장소를 곧 공개할 예정이다.