이것은 간단한 시간적 업스케일링(temporal upscaling)에 관한 개념 증명 워크플로우다. 모든 비디오 모델은 고속 모션 장면에서 일정한 블러링 현상을 보이는데, 클로즈드 소스와 오픈 소스 모두 마찬가지다. 모델에 따라 블러링이 나타나는 모션 속도는 높거나 낮을 수 있으며, 일반적으로 신규 모델이 구형 모델보다 낫다. 일부 스타일은 낮은 속도에서 블러링 효과를 만드는 경향이 있는데, 특히 라인아트 계열이 그러하며, 이는 학습이 사실주의 쪽에 치우쳤거나 잠재(latent)가 시간적으로 압축되는 방식 때문일 수 있다.

사람들이 이를 해결하려는 한 가지 방법은 픽셀 업스케일링 후 비디오 전체에 재확산(rediffusion)하는 것인데, 분명 도움이 되지만 적어도 필자의 경험상 그 효과에는 분명한 한계가 있다. 이때 시간적 업스케일링이 등장한다. 이 아이디어 자체는 새로운 개념은 아니며, 예컨대 MAINodes는 시간적 업스케일링이 필요한 프레임을 선별해 해당 프레임 위에 재확산을 시도한다. 필자는 이를 논리적 귀결로 가져가, 선별적으로 고르는 대신 장면 전체를 'deroping', 즉 시간적 업스케일링하면 어떨지 고려했다.

이 방식에는 몇 가지 장점이 있다고 생각한다. 첫째, 디노이즈 강도를 달리하는 방식보다 최종 결과의 세부 디테일에서 모션 일관성이 높아지는 경향이 있다. 둘째, 결과에 맞춰 디노이즈를 미세 조정할 수 있다. 셋째, 단순한 2배 시간적 업스케일만으로도 만족스러운 결과를 얻고 있다. 물론 주요 단점은 크기가 2배가 된 비디오, 잠재적으로 동시에 업스케일된 비디오 위에서 확산을 수행해야 한다는 점이다. 이때 속도 개선 도구가 필요한데, low step LoRA와 sol attention(비디오가 길어질수록 효과가 커진다)이 그것이다.

이 워크플로우의 목적은 기본 Comfy에 최대한 가까운 워크플로우를 만드는 것이었다. 프레임 조작을 돕기 위해 Kijai의 노드 팩과 VHS Suite를 사용한다. 유일하게 특이한 노드는 시간적 업스케일을 위해 오디오 속도를 늦추는 데 쓰이는 노드다. 원한다면 빈 오디오를 인코딩하거나 이 기능을 갖춘 다른 팩을 직접 찾아도 된다. 개념 시연에 불필요한 요소는 제거해 워크플로우를 단순화했으며, 이를 자신의 워크플로우에 추가하거나 기반으로 삼아 발전시키길 기대한다.

이를 한동안 사용하며 얻은 팁은 다음과 같다. 첫째, 특히 배경에서 모핑 현상이 보인다면 적어도 베이스 단계에서는 sol attention을 비활성화할 것을 권한다. 일부 샷에서는 이 현상이 발생하지만 다른 샷에서는 그렇지 않다. 둘째, 기본 설정으로 20 스텝에서 0.5MP 베이스 비디오를 생성하는데, 이는 좋은 사운드를 얻고 좋은 시드를 빠르게 찾기 위함이며, 이후 2배 시간적 업스케일과 1MP 업스케일을 진행한다. 업스케일 설정 변경은 노란색 박스를 참고하라. 셋째, 업스케일 디노이즈는 비디오 길이와 필요에 맞게 조정하라. 짧고 저해상도 비디오는 보통 디노이즈가 덜 필요하고 긴 비디오는 더 필요하다. 수치가 너무 높으면 비디오가 빨라지고 역설적으로 더 블러리해진다. 0.45가 좋은 출발점이지만 0.3에서 0.6 이상까지 허용된다. 넷째, 2배 업스케일로도 동작이 여전히 빠르다고 느껴지면 3배나 4배를 시도할 수 있다. 워크플로우는 Civitai의 Simple Temporal Upscaling 페이지에서 공개되어 있다.