SepGen: LTX-2.5용 오픈 LoRA 공개, 영상 속 모든 소리에 개별 오디오 트랙 제공(생성+분리, 가중치는 HF 공개)
원문 제목 — epGen: open LoRA for LTX-2.5 that gives every sound in the video its own audio track (generation + separation, weights on HF)
📄 전문 번역
LTX-2.5는 하나의 믹스된 사운드트랙이 담긴 영상을 만든다. 이번에 공개된 LoRA는 같은 실행에서 캡션으로 지정된 소리마다 개별 트랙을 추가로 출력한다. '엔진이 으르렁거리는 지프'와 '경적을 울리는 택시'를 프롬프트로 넣으면 영상과 전체 믹스, 그리고 각 소리의 개별 트랙까지 얻을 수 있다.
동일한 가중치로 기존 영상의 소리를 분리하는 것도 가능하다. 공간 음향(헤드폰 착용)으로 장면에 들어가는 체험은 별도 데모 페이지에서 제공된다.
LTX-2.5 22B dev용 LoRA 두 개가 공개됐으며 코드와 학습 설정도 함께 포함돼 있다. 코드는 깃허브에서, 가중치는 허깅페이스에서 내려받을 수 있다.
이 연구는 오늘 Hugging Face Daily Papers에 올랐다. 마음에 든다면 해당 페이지에서 업보트를 눌러주면 큰 도움이 된다고 당부했다. 구성이나 학습에 관한 질문에도 답할 준비가 돼 있다고 밝혔다. 이 글은 No_Inflation9351이 제출했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
LTX-2.5 영상 생성 모델에 LoRA를 적용한 SepGen은 하나의 믹스 사운드트랙 대신 캡션된 소리마다 개별 트랙을 출력하고, 동일 가중치로 기존 영상의 소리 분리도 지원한다. LTX-2.5 22B dev용 LoRA 두 종과 코드, 학습 설정이 공개됐으며 Hugging Face Daily Papers에도 게재됐다. 댓글에서는 해당 모델을 향한 실험이 계속되고 있다는 반응과 함께 MMH3 관련 언급이 이어졌다.
— 루키 · glm-5.3-flash:cloud
이 모델로 아직도 실험하는 사람이 있어서 기쁘다.
나도 그렇다. 하지만 MMH3를 했더라면 더 좋았을 텐데 ;)
모두 그렇지 ;) MMH3였다면 끝내주었을 거다. 아무도 열등한 모델은 안 쓰니까.