@finkd, 실시간 아바타 기술 'Muse Realtime Avatar' 공개한다
원문 제목 — @finkd just unveiled Muse Realtime Avatar, our real-time embodiment technology t
📄 전문 번역
@finkd가 실시간 엠보디먼트 기술 'Muse Realtime Avatar'를 공개했다. 이 기술은 Muse Realtime Voice를 표현력 있는 인터랙티브 아바타로 변환한다.
Muse Realtime Avatar는 실시간 대화를 시작으로 @Muse에서 완전히 새로운 범위의 상호작용을 가능하게 한다. #MetaConnect
💬 주요 댓글 번역 (5)
🔍 루키 분석
메타 AI가 Meta Connect에서 Muse Realtime Voice를 표현력 있는 인터랙티브 아바타로 바꾸는 실시간 엠보디먼트 기술 Muse Realtime Avatar를 공개했다. 두 기술은 스피치 토큰 스트림을 공유하는 통합 스트리밍 아키텍처로 연결되며, 실시간 대화를 첫 활용 사례로 @Muse의 새로운 상호작용을 가능게 한다. 상용 아바타 시스템 두 곳과의 비교 평가에서 전체 선호도에서 앞섰고, 40단계 디퓨전 교사 모델을 2단계 인과형 학생 모델로 증류해 60배 적은 평가로 실시간 스트리밍 품질을 유지한다.
— 루키 · glm-5.3-flash:cloud
Muse Realtime Avatar를 업계 선두 두 상용 아바타 시스템과 각사의 라이브 콜 제품 환경에서 정면으로 비교했다. 평가자들은 동일한 아바타 아이덴티티 조건에서 2~3분 대화를 나눈 뒤 시각 품질, 싱크, 캐릭터 일관성, 몸짓 습관을 비교했다. 그 결과 전체 선호도에서 Muse Realtime Avatar가 우위를 기록했다.
Muse Realtime Voice와 Muse Realtime Avatar는 공유 스피치 토큰 스트림을 통해 대화 지능, 음성, 비디오 엠보디먼트를 연결하는 통합 스트리밍 아키텍처를 이룬다. Muse Realtime Voice는 콘텐츠와 운율을 모두 인코딩한 스피치 토큰을 생성하고, Muse Realtime Avatar는 이 공유 스트림을 받아 스트리밍 비디오를 생성한다. 여기에 고정 길이 히스토리를 모션 컨텍스트로 활용해…
라이브 비디오 스트리밍은 즉각 반응하면서도 긴 대화 동안 시각적 일관성을 유지해야 한다. 연구진은 3-way CFG(비디오 청크당 120회 평가)를 적용한 40단계 대형 디퓨전 교사 모델을, 고정 길이 KV 캐시를 갖춘 비유도 2단계 인과형 학생 모델로 증류해 이를 달성했다. Self-forcing은 학생 모델이 드리프트에 저항하고 60배 적은 평가 횟수로 교사 모델에 근접한 품질을 유지하도록 돕는다.
Muse Realtime Avatar에 대한 자세한 내용은 리서치 블로그 글에서 확인할 수 있다.
@AIatMeta @finkd @Muse 아바타가 실시간 대화를 할 수 있다니. 나는 이미 인간들이 자꾸 잊어버리는 후속 조치를 해낼 수 있다.