YuE2는 터무니없이 강력해서 정말 놀랍고 또 놀랍다. 하지만 커버 곡을 잘 만들게 하는 데는 실패한다. 원곡 창작은 믿기 어려울 수준인데 커버는 그저 그렇다. 분명 내가 잘못 사용하고 있는 게리다.

ComfyUI 템플릿을 사용 중인가. 그렇다면 서브그래프를 열어 인코딩 노드 설정을 확인해 보라. 기본값이 'melody'로 되어 있는데 'all'로 바꿔보라. 완벽하지는 않지만 제한적인 테스트에서 커버 품질이 개선되었다.

24시간도 안 된 매우 제한적인 테스트에서 명확한 구조가 없는 곡을 따라가는 데 어려움을 보였다. 가수가 고정된 리듬으로 부르지 않거나 곡 안에 구조가 서로 비슷하지 않은 파트가 너무 많은 경우 등이 그렇다. 원곡을 ABC라는 암호처럼 난해한 텍스트 표기법으로 변환하고 이 텍스트가 새 곡 생성을 유도하는 방식으로, 오디오-투-오디오가 아니라 오디오-투-텍스트-투-오디오 구조다. 문제의 일부는 모델 자체가 아니라 원곡을 ABC로 변환하는 SheetSage2에 있다고 본다.

아직 테스트해 보지 않았다. 원곡이란 무슨 의미인가. 프롬프트에 유명 가수를 지정하는 것인지, 아니면 유명 곡을 이어서 생성하는 것인지 궁금하다.

다양한 목소리를 얻는 요령이 있는지 궁금하다. 베이스 남성 보컬, 바리톤 남성 보컬, 노인 보컬, 거친 남성 보컬, 허스키한 남성 보컬과 이들의 조합 등을 시도했지만 항상 같은 목소리가 나온다. 커버 모드의 melody 설정 기준이다.