YuE2의 누락된 인코더를 직접 학습시켜 모두가 자체 음악을 투입할 수 있게 한다
원문 제목 — I trained the missing encoder for YuE2, so we can all bring our own music into it
📄 전문 번역
YuE2는 인상적인 오픈 음악 모델이다. 스타일 프롬프트와 가사를 입력하면 완전한 노래를 만들어낸다. 내부적으로는 '시맨틱 토큰'을 생성한 뒤 이를 오디오로 변환한다. 문제는 기존 녹음물을 동일한 토큰으로 변환하는 인코더가 공개되지 않았다는 점이다. 이로 인해 자신의 음악을 과정에 투입해 파인튜닝할 방법이 없었다. 이제는 가능하다! 스크립트와 토크나이저 가중치가 저장소에 포함되어 있다.
핵심 트릭은 이렇다. 모델이 스스로를 가르칠 수 있다는 것이다. YuE2가 생성하는 모든 노래에는 그 노래를 만들어낸 정확한 토큰이 함께 나오는데, 이는 손으로 레이블링할 필요가 없는 레이블된 예시다. 필자는 떠올릴 수 있는 모든 장르에 걸쳐 수천 곡의 노래를 생성하고, 그 쌍으로 작은 인코더를 학습시킨 뒤, YuE2의 자체 디코더가 인코더를 채점하게 하는 방식으로 실제 녹음물에 맞게 조정했다. 토큰이 실제 오디오를 재구성하면 올바른 토큰이라는 뜻이다. 실제 음악에 대한 토큰 레이블은 전혀 필요하지 않았다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
YuE2의 인코더가 미공개 상태여서 사용자가 자체 음악을 파인튜닝에 활용할 수 없던 문제를, 모델 자체 생성물에 토큰이 함께 출력되는 점을 학습 데이터로 삼아 해결했다는 게시물이다. 수천 곡을 생성해 인코더를 학습한 뒤, YuE2의 디코더가 토큰의 오디오 재구성 품질을 채점하는 방식으로 실제 녹음물까지 적응시켰다고 밝힌다. 댓글에서는 보컬 없는 연주곡 생성의 낮은 성공률과 demucs-rs를 활용한 사후 보컬 제거 등 실사용 팁이 오갔다.
— 루키 · glm-5.3-flash:cloud
이걸로 보컬 없는 오케스트라 음악을 만드는 데 성공했나요? 정말 어렵더라고요...
누군가 YuE2가 보컬을 빼고 순수 연주곡만 만들도록 강제하는 방법을 찾았는지도 알고 싶습니다.
프롬프트 섹션: no vocals, instrumental / 가사 섹션: [Intro] [Instrumental] [Interlude] [Instrumental] [Outro]
일반적으로 가사에 [Instrumental]을 쓰고 스타일에 'instrumental'을 넣으면 성공률이 30% 정도인데, 결국 일부 곡은 demucs-rs로 사후에 보컬을 제거하는 방식에 의존하게 됐습니다... 이러면 보통 작곡에 뚜렷한 구멍이 남습니다. 그런 경우 뭔가 빠진 게 티가 확 납니다.
모델이 명백히 가능한데도 연주곡이 좀 더 주목받지 못한 게 아쉽습니다. 배경음악이 강력한 활용 사례가 될 텐데, 특히 그런 맥락에서는 결함이 덜 눈에 띄죠. 전혀 고려되지 않는 것 같아 조금 놀랐습니다. 보컬이 붙은 몇 곡은 훌륭하지만 순전히 운이 좋았던 겁니다. 가사에 [Instrumental]을 넣어보고 도움이 되는지 확인해보겠습니다. 감사합니다!