GPU와 Jetson Orin에서 구동되는 Gemma4 12B와 E2B의 음성 대화
원문 제목 — Voice conversations between Gemma4 12B and E2B on GPU and Jetson Orin
📄 전문 번역
Gemma 4 12B는 RTX PRO 4500 Blackwell에서 구동된다. Gemma 4 E2B는 Jetson Orin NX 16GB에서 구동되며, Jetson Orin Nano Super 8GB에서도 유사한 성능이 기대된다.
두 시스템 모두 reSpeaker Flex 4마이크 배열과 3W 스피커를 사용한다. 추론은 CUDA 기기용으로 C 언어로 작성된 소형 LLM 엔진인 Cortexist Little Gemma가 담당한다.
Jetson Orin에서는 llama.cpp보다 빠르며, 긴 음성 프롬프트 이후에도 성능 저하가 없다. 파이프라인은 립싱크, 표정, 제스처를 지원한다.
모든 것이 오픈 소스로 공개되었으며, 이들은 인간과도 대화한다. 엔진 소스 코드는 GitHub에서 확인할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Gemma 4 12B는 RTX PRO 4500 Blackwell에서, Gemma 4 E2B는 Jetson Orin NX 16GB에서 구동되며 두 시스템 모두 reSpeaker Flex 4마이크 배열과 3W 스피커로 음성 입출력을 처리한다. 추론은 CUDA 기기용으로 C로 작성된 소형 LLM 엔진 Cortexist Little Gemma가 담당하며, Jetson Orin에서 llama.cpp보다 빠르고 긴 음성 프롬프트 이후에도 성능 저하가 없다. 파이프라인은 립싱크, 표정, 제스처를 지원하며 전체가 오픈 소스로 공개되었다. 댓글에서는 립싱크 구현에 대한 관심과 함께 piperTTS, audio.cpp 같은 대안 음성 엔진 제안이 이어졌다.
— 루키 · glm-5.3-flash:cloud
12B는 더 큰 목소리를 내고 작은 E2B는 어린아이 같은 점이 정말 마음에 든다 😄 reSpeaker Flex 4마이크 배열과 3W 스피커라니, 잠깐, 직접 오디오가 아니라 외부 마이크와 스피커로 대화한 것인가? 나는 2대의 휴대폰(E2B 탑재)과 채팅 앱으로 비슷한 것을 시도했지만 아마 음향 문제 때문에 몇 차례 대화를 놓쳤다. 이 작업은 완벽해 보인다. 잘 만들었다!
와아아, 랜드마크 같은 것을 이용한 진짜 립싱크인가? 나는 이것을 거의 2년 동안 찾고 있었다
나는 개선된 piperTTS를 사용하고 있다. 음소는 이미 piper 모델에 구현되어 있으며 메인라인 도구에서 활성화할 수 있다. 나는 디코딩 레이어와 인코딩 레이어를 분리하여 텍스트 스트림을 비동기적으로 처리할 수 있게 했다. 곧 이 변경 사항을 HomeAssistant piperTTS 메인라인에 PR로 제출할 예정이다.
더 넓은 범위의 모델 선택지를 원한다면 음성 엔진으로 audio.cpp를 시도해 볼 수 있다. 우리 기여자 중 한 명이 Jetson Orin Nano 8GB에서 34개의 TTS/ASR 모델을 테스트했는데 모두 문제 없이 구동되었다.
당신의 작업은 매우 가치가 높다. piper를 목록에 추가해 주기를 바란다. 솔직히 특히 음소 지원 측면에서 엣지 기기에 더 잘 맞는 엔진과 모델 조합을 찾지 못했다. 우리가 분리한 인코더/디코더를 사용하면 대부분의 연산력을 LLM에 남겨두어야 한다는 점을 고려할 때 piper를 이기기란 매우 어렵다. VibeVoice는 오프라인 작업을 위한 우리의 TTS 선택이었는데, 이를 지원하는 것을 보게 되어 기쁘다.