지난 2주 동안 나는 스스로에게 도전 과제를 하나 설정했다. 로컬 시스템과 오픈소스 AI 모델만으로 고품질 뮤직비디오를 제작할 수 있는지 확인하는 것이었다. 여가 시간에 내 셋업에서 로컬 모델을 실험해 왔는데, 솔직히 꽤 놀라운 수준에 이르렀다. 이제 0달러를 쓰고도 집에서 진정한 프로페셔널한 룩의 영상을 만들 수 있는 지점에 도달한 것이다.

'Laydee Latte'를 소개한다. 가수는 Krea 2로 로컬에서 생성했고, 음악은 Minimax Music 3 오픈 웨이트로 만들었으며, 영상은 Minimax H3 오픈 웨이트로 생성했다. 음악 생성 후에는 명료도, 베이스, 일관성을 개선하기 위해 조정하고 리믹스했다.

뮤직비디오 자체는 수 시간에 걸친 애셋 제작이 포함된 긴 과정이었다. 로컬 시스템에서 실행하는 것은 느리지만 작동한다. 장점은 20개의 영상을 백그라운드 생성 대기열에 넣어두고 자리를 비웠다가 나중에 돌아와 최고의 결과물을 큐레이션할 수 있다는 점이다. 모든 영상은 정적 첫 프레임이 아닌 'Reference to Video' 방식으로 생성했다. 립싱크 능력이 진정한 차이를 만드는 부분이라고 생각한다. 목표는 Minimax가 정확한 립싱크와 함께 일관된 영상을 생성하는 힘을 증명하는 것이었다.

결국 이 영상의 제작 비용은 0이었다(전기요금과 GPU 구입 비용은 제외 :-)). 그리고 모든 작업은 완전히 로컬 시스템에서 이뤄졌다.

이 프로젝트에서 좋았던 점은 다음과 같다. Music 3는 강력한 모델이다. 곡에 담긴 깊이, 레이어, 스테레오 사운드 처리 수준이 놀라웠다. H3는 프로페셔널하다고 느껴지는 최초의 로컬 모델이다. 프롬프트 준수력이 탁월하고 일관성은 놀라울 정도다. 'Laydee'의 왼쪽 눈 근처에 있는 주근깨가 영상마다 일관되게 유지되는 점이 마음에 든다.