H3의 t2v는 ref2va나 fl2va, 심지어 RefMod보다도 확실히 뛰어난 영상 품질을 보여준다. 이에 필자는 Z-Image Turbo 스틸 8장, 커스텀 ElevenLabs 보이스, Z-Image 레퍼런스로 생성한 5개의 Seedance 결과물에서 잘라낸 그녀가 말하는 짧은 클립 14개를 활용해 오리지널 캐릭터 LoRA 제작에 도전했다. 왼쪽은 사진과 보이스 샘플을 RefMod로 넣은 H3 결과이며, 오른쪽은 동일 시드에 강도 0.8의 LoRA를 적용한 뒤 DLSS 5를 거친 결과다. RefMod는 얼굴 일관성은 유지하지만 전체적으로 지나치게 세련된 인상을 준다. LoRA를 사용하면 t2v 특유의 품질에 훨씬 가까워진다.

학습은 Fizgig에서 헤드리스로 진행했으며, pruned int8 fl2va 모델에 rank 16, Automagic v3, Circlestone 어댑터, EMA 0.98, 40 에포크(3,520 스텝) 설정을 적용했다. 데이터셋은 이미지와 얼굴 크롭, 17n+5 프레임 그리드에 맞춰 편집한 클립 14개, 그리드 길이에 정확히 트리밍한 보이스 클립 45개로 구성했다. 학습은 무료 Modal 크레딧으로 임대한 H200에서 41분 만에 완료됐다. 렌더링은 RTX 3090에서 DMAD 4-step LoRA로 864x480 해상도 8스텝 생성, 3D latent 업스케일로 2MP 확대, 0.4 디노이즈의 2스텝 리파인, 이어서 강도 0.8의 DLSS 5 순으로 진행했다. 8초 클립 하나에 약 4.5분이 소요되며, DLSS는 보조 카드인 5060 Ti에서 15초가 추가된다.

과정에서 얻은 교훈도 몇 가지 있다. LoRA 강도 0.8이 스위트 스팟이었고, 1.0에서는 캐릭터가 파운데이션을 너무 두껍게 바른 것처럼 보였으며, 'no makeup' 프롬프트는 오히려 결과를 악화시켰다. 트레이너 미리보기는 믿어서는 안 되는데, 후반 에포크가 미리보기에서는 형편없어 보였지만 실제 워크플로우에서는 훌륭하게 나왔다. RefMod는 레퍼런스 사진의 조명을 그대로 가져오므로 스튜디오 조명 스틸은 모든 장면을 수분 크림 광고처럼 만들었고, 캔디드 사진으로 바꾸자 해결됐다. 강도 슬라이더는 사실상 효과가 없었고, 두 번째 패스에서는 복제된 보이스가 사라지므로 1단계 오디오를 저장해뒀다가 나중에 다시 넣어야 한다. 강한 사전 학습 데이터는 여전히 결과를 잠식할 수 있는데, 캐릭터를 Mulder와 Scully가 있는 X-Files 지하실에 배치하자 갑자기 영국식 억양의 Agent Reyes(이병 시즌)처럼 변해버렸다.

공개된 워크플로우(API 형식, 캔버스로 드래그해 사용)는 H3 + LoRA, ref2va 기반 H3 + LoRA + RefMods, DLSS 5, 그리고 두 종류의 RefMod 빌더를 포함하며 구글 드라이브 링크로 배포됐다.

이번 작업은 shootthesound(Fizgig), Luisacaotica(RefMod 노드), Blueforcer와 Merserk(DLSS 5 Enhancer), ZhengmingYu와 Kijai(DMAD), circlestone-labs(학습 어댑터)의 기여에 힘입은 결과다.