안녕하세요 r/LocalLLaMA 여러분, 저희는 음성, 오디오, 이미지, 비디오를 위한 MOSS 모델 계열을 개발한 MOSS 팀입니다. 일부 분들은 MOSS-TTS를 통해 저희를 알게 되었거나 최근 공개된 MOSS-Image 릴리스를 접했을 수 있다. 오늘 저희는 Ask Us Anything의 anything을 꽤 문자 그대로 받아들여 음성, 사운드, 음악, 이미지, 비디오를 아우르는 MOSS 모델 계열 전체를 들고 나왔다. 저희는 Fudan University의 OpenMOSS 연구팀과 Shanghai Innovation Institute에 뿌리를 둔 상하이 기반 팀으로, 웹사이트에서 모델과 연구, 도구를 살펴볼 수 있다. 저희의 더 넓은 연구 목표는 사람들이 말하는 것과 보는 것, 상황이 시간에 따라 변하는 양상을 따라갈 수 있는 AI를 만드는 것이며, 이를 위해 음성 생성과 오디오·시각 이해, 동기화된 오디오-비디오 생성을 아우른다.

MOSS-Image는 5B DiT 백본에 중국어·영어 텍스트 렌더링과 JSON 레이아웃 제어를 갖춘 텍스트-이미지 모델이다. 베이스 및 SFT 가중치와 번들된 추론 코드는 Apache 2.0 라이선스로 공개되었다. MOSS-Image는 Hugging Face 트렌딩 텍스트-이미지 모델 상위권을 유지해 왔으며, ComfyUI 버전은 이미 3,702,490회의 다운로드를 기록했다.

음성·사운드 생성 라인업으로는 음성 합성과 보이스 클로닝을 담당하는 MOSS-TTS, 다중 화자 대화와 장문 대화, 팟캐스트를 지원하는 MOSS-TTSD, 대화형 애플리케이션용 스트리밍 음성 생성 모델 MOSS-TTS-Realtime, CPU 친화적 스트리밍 추론이 가능한 100M 파라미터 경량 모델 MOSS-TTS-Nano, 참조 오디오 없이 텍스트 설명만으로 목소리를 설계하는 MOSS-VoiceGenerator, 텍스트에서 효과음을 생성하는 MOSS-SoundEffect가 있다.

오디오 이해 분야에는 화자 라벨과 타임스탬프를 포함한 전사를 제공하는 MOSS-Transcribe-Diarize, 음성·환경음·음악에 대한 이해와 추론을 수행하는 MOSS-Audio, 가사와 편성, 구조까지 음악을 이해하는 MOSS-Music이 있다. 시각 이해와 비디오 생성 분야에는 장시간 영상을 포함한 이미지·비디오 이해 모델 MOSS-VL, 펼쳐지는 스트리밍 비디오를 이해하는 MOSS-VL-Realtime, 비디오와 오디오를 동기화해 함께 생성하는 MOVA가 있다.

이 외에 MOSS API와 플레이그라운드, Hugging Face, GitHub 등의 자원을 제공한다. 이번 AMA에는 garybryant, FarAdhesiveness9577, Phospheneser, TimeEnvironmental219, Aggressive-Sign-8167 계정과 이 계정들을 통해 답변하는 다른 MOSS 팀원들이 참여한다. 팀은 10월 30일 태평양 시간 오전 8시부터 11시까지 질문에 답하고, 이후 48시간 동안 스레드를 계속 확인할 예정이며, 무엇이든 물어보라고 당부했다.