텐센트가 음성 생성 및 편집을 위한 1.5B 파운데이션 모델 AuK의 증류 변형 AuK-Flash 공식 가중치를 Hugging Face에 공개했다. AuK는 수백만 시간의 다양한 오디오 데이터로 학습되었으며, 통합된 자연어 지시문 인터페이스를 통해 제로샷 TTS, 지시 기반 TTS, 콘텐츠 및 음향 편집, 부가언어적 편집, 음성 향상, 소스 분리를 지원한다. AuK는 고품질 생성용 베이스 모델 AuK와 4스텝 고속 추론용 증류 모델 AuK-Flash 두 가지 변형으로 제공되며, 이번 저장소에는 4스텝 고속 추론이 가능한 증류 변형 AuK-Flash의 공식 가중치가 담겨 있다.

지원 작업은 음성 생성, 콘텐츠 편집, 음향 편집, 부가언어적 편집, 향상 및 분리의 다섯 카테고리로 묶이며 모두 동일한 자연어 지시문 인터페이스로 수행된다. 음성 생성은 참조 오디오의 목소리로 대상 텍스트를 읽는 제로샷 TTS와 참조 오디오 없이 목소리 설명만으로 음성을 생성하는 인스트럭트 TTS를 포함한다. 콘텐츠 편집은 텍스트의 교체, 삽입, 삭제가 가능한 음성 콘텐츠 편집과 멜로디와 목소리를 유지하며 노래 녹음의 가사를 고치는 가사 편집을 제공한다.

음향 편집은 반음 단위의 피치 조절, 속도 계수에 따라 출력 길이가 변하는 발화 속도 조절, 데시벨 단위의 볼륨 조절을 지원한다. 부가언어적 편집은 콘텐츠와 목소리를 유지한 채 감정을 바꾸는 감정 편집, 콘텐츠를 유지하며 설명 기반으로 음색을 바꾸는 음색 편집, 화자의 목소리와 콘텐츠를 보존하면서 지역 억양을 제거하는 디악센트, 숨소리·웃음·기침 같은 비언어적 소리의 제거 및 추가, 일반 발화와 속삭임 간의 상호 변환을 아우른다.

향상 및 분리 카테고리에서는 디노이징, 잔향 제거, 자연스럽고 선명한 음성 복원이 가능한 음성 향상, 발화 순서에 따라 한 명의 화자만 남기는 음성 분리, 믹스에서 노래 목소리를 추출하거나 모든 인간 목소리를 유지하는 음악 분리, 발화 내용으로 식별된 대상 화자 추출 기능을 제공한다. 지시문 템플릿과 CLI 및 Python 예제를 담은 쿡북도 함께 공개되었으며, arXiv 논문, GitHub 저장소, 프로젝트 페이지도 이용할 수 있다.