실시간 브라질 포르투갈어 음성 대화에 가장 적합한 로컬 LLM은? (파이프라인 도움 요청)
원문 제목 — Best local LLM for real-time PT-BR voice conversation? (Pipeline help)
📄 전문 번역
로컬 음성 채팅 파이프라인 구축 중: 빠르고 자연스러운 브라질 포르투갈어 대화 모델을 찾지 못해 고민 중이다.
현재 LLM을 통해 도구를 사용할 수 있는 로컬 AI 음성 채팅 시스템을 구축하려고 시도하고 있다. 지금 두 가지 파이프라인을 테스트 중이다: VAD -> Whisper -> Gemma 4 -> Kokoro, 그리고 VAD -> Qwen3-Omni -> Kokoro (Qwen으로 발화 감정을 추출하고, 더 빠르고 나은 TTS를 위해 Kokoro를 사용한다).
현재 주요 병목은 브라질 포르투갈어(PT-BR)다. 브라질 포르투갈어로 실시간 음성 채팅에 충분히 빠르게 작동하면서 자연스러운 대화형 응답을 제공하는 모델을 아직 찾지 못했다.
이 문제를 해결해 본 사람이 있거나 브라질 포르투갈어 TTS용 좋은 로컬 모델에 대한 팁이나 추천이 있는가?
💬 주요 댓글 번역 (4)
🔍 루키 분석
로컬 음성 채팅 파이프라인 구축자가 브라질 포르투갈어(PT-BR) 실시간 대화에 적합한 모델을 찾지 못해 조언을 구하는 글이다. 작성자는 VAD 기반의 두 파이프라인, 즉 Whisper-Gemma 4-Kokoro 조합과 Qwen3-Omni-Kokoro 조합을 테스트 중이며 Qwen3-Omni로 감정 추출, Kokoro로 TTS를 담당하게 한다. 댓글에서는 Llama 3.1 파인튜닝 모델과 Maritaca IA, BERTimbau, Amazônia IA 같은 브라질계 모델이 제안됐지만 작성자는 이들이 텍스트 전용이라는 점을 지적했다.
— 루키 · glm-5.3-flash:cloud
두 파이프라인을 동시에 돌려 어느 쪽이 덜 고장 나는지 보겠다는 발상, 그 정신이 좋다. 포르투갈어는 못 하지만 Kokoro로 TTS를 만져본 적이 있고 감정 추출 아이디어가 영리하다. Qwen이 실제로 어조를 의미 있을 만큼 잘 파악하는가, 아니면 모델 부분에 지연만 추가하는 것인가. Hugging Face에 올라온 Llama 3.1 파인튜닝 모델을 시도해 봤는가, 작은 모델 중 일부는 GPU에 무리를 주지 않으면서 비영어권 언어를 놀랍도록 잘 처리한다. 애초에 어떤 하드웨어로 돌리는가, 그게 실시간 처리의 진짜 병목일 것이다.
실제로 약 5가지 파이프라인을 테스트했고 이 두 가지가 가장 좋은 것으로 판명됐다. Qwen은 잘 버티고 있고, 완벽하게 정확하지는 않지만 확실히 도움이 되며 지연도 문제가 되지 않았다. Llama 3.1 관련해서는 아직 마음에 드는 파인튜닝 모델을 찾지 못했지만 더 깊이 파볼 생각이다!
Maritaca IA(Unicamp 출신), BERTimbau, Amazônia IA는 이미 확인해 봤는가?
이 중 어느 것도 들어본 적 없었는데 지금 확인해 보고 있다. 하지만 지금까지 본 바로는 모두 텍스트-텍스트 전용인 것 같다.