영상으로 보고 싶다면 유튜브 링크가 있다. 핵심은 영상에서 Wednesday의 캐릭터 Enid로 시험해봤다는 건데, 뭐... 유튜브 조회수 때문이다 하하. 이 캐릭터를 고른 이유는 모델 안에서 전혀 찾을 수 없었기 때문이다. 그 쇼 Wednesday를 언급만 해도 모델이 무조건 Jenna Ortega로 돌아가 버린다. 그래서 모델이 아주 특정 인물로 고정돼 있을 때 다른 캐릭터의 목소리와 외모를 학습시키기 좋은 도전 과제다.

지금까지 여러 개를 더 만들었는데, 대부분은 유튜브 채널에 쓰는 모델처럼 실존하지 않는 인물이다. 그리고 정확도가 말 그대로 미쳤다. 보통 2000~2400스텝 정도로 학습하며, 샘플을 뽑느냐에 따라 3000스텝 전체에 대략 80~90분이 걸렸다. 샘플이 없으면 더 짧아서 한 시간 가까이 될 것 같다. 정확하진 않지만 어쨌든 터무니없이 빠르다. 목소리까지 원하면 데이터셋 2개가 필요하고, 아주 강력한 카드가 있다면 데이터셋 하나로 비디오 학습을 할 수도 있다.

다만 RTX6000이 없다면 5090으로도 오프로드가 필요하다. 학습률은 0.0002로 올렸고, differential guidance를 켜서 3으로 유지했다. 이 수준에서만 해봤지만, LoRA를 과학습시켰다고 느껴지면 둘 중 하나 또는 둘 다 낮춰볼 수 있다. 기본값으로는 거의 아무것도 학습되지 않기 때문에 값을 올린 것이다. 그리고 LoRA는 절대 0.85 이상으로 쓰지 않으며, REF2VA를 할 때는 가끔 더 올리기도 한다.