Hy-SimulMT는 Tencent Hunyuan이 개발한 실시간 동시통역 모델로, 중국어와 영어 간 양방향 음성-음성 번역을 지원한다. 이 모델은 들어오는 오디오를 지속적으로 수신하며 화자가 말하는 동안 번역을 진행해 번역된 텍스트와 음성을 모두 생성한다. 실시간 음성 클로닝을 통해 화자의 음성 특성을 보존하면서 메시지를 정확하게 전달한다.

회의, 연설, 인터뷰 같은 실시간 소통 환경을 위해 설계된 Hy-SimulMT는 대화에서 기다림이 가져오는 방해를 줄이면서 정보를 정확하게 전달하는 것을 목표로 한다.

번역 품질과 응답 속도 사이의 균형을 평가하기 위해 공개 벤치마크, 실제 오디오, 전문 동시통역사와의 비교를 결합했다. RealSI 장문 오디오 평가에서 Hy-SimulMT는 약 3초의 StreamLAAL을 기록하며 비교 대상 시스템 중 가장 낮은 수치를 달성했다. GEMBA 점수는 비교된 오픈소스 모델과 5개 상용 API 중 4개를 능가했다.

GitHub 저장소에서는 SimulInfer 추론 서비스와 SimulTrain 학습 도구를 제공한다. 음성 출력과 음성 클로닝에는 TTS 서비스 설정이 필요하다. Hy Translate 앱에서도 Hy-SimulMT를 사용해 볼 수 있다.