2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

Kitten-TTS 2: 음성 복제·다국어·감정 제어 지원하는 오픈소스 SOTA 1.58비트 TTS 공개, CPU만으로 실시간 구동

원문 제목 — Kitten-TTS 2: New Open-source SOTA 1.58 bit TTS (CPU-only with voice cloning, multilingual, emotion control)

📄 전문 번역

KittenML이 초고효율 프론티어 TTS 모델이자 세계 최초의 1.58비트 TTS 모델인 Kitten-TTS 2의 코드와 가중치를 공개했다. 이 모델은 CPU만으로 실시간 구동이 가능하며 제로샷 음성 복제, 다국어 지원, 표현력 및 강세 제어 기능을 갖췄다. 코드와 가중치는 오픈소스로 공개되었으며, 삼진(1.58비트) 가중치 덕분에 로컬 실행이나 매우 저렴한 셀프 호스팅이 가능하다.

주요 기능인 삼진 TTS는 본문의 모든 선형 가중치를 -1, 0, +1 세 값 중 하나로 두고 스케일의 그룹 크기는 128로 설정하는 방식이다. 이를 통해 매우 작은 용량과 빠른 CPU 추론이 가능하며, 모델은 17억 개의 파라미터를 가진다. 실시간 생성에 GPU가 필요 없고 CPU 추론용 최적화 삼진 커널이 제공되며, 소비자용 GPU에서도 실시간 구동이 가능하다.

표현력 있는 음성 복제는 5초 미만의 참조 오디오만으로 제로샷 복제가 가능하며 표현력과 억양 정보 등을 유지하고 파인튜닝이 필요 없다. 다국어 TTS는 20개 이상의 언어에서 음성 복제를 지원하며, 교차 언어 음성 복제로 억양이 담긴 음성도 만들 수 있다. 표현력 및 강세 제어 기능을 통해 단순히 목소리를 고르는 것을 넘어 전달 방식을 조절하고 특정 단어에 강세를 둘 수 있다.

코드와 가중치는 오픈소스로 자유롭게 사용할 수 있으며, GPU가 부족한 사용자에게 ElevenLabs의 오픈소스 대안이 될 수 있다. 셀프 배포나 로컬 실행도 쉽다. V0.8에서 2로 바뀐 내용으로는 품질 향상과 함께 완전히 새로운 아키텍처, 자연스러운 음성, 삼진 가중치, 제로샷 음성 복제, 다국어 지원, 강세 및 감정 제어가 도입된 점이 있다.

💬 주요 댓글 번역 (4)

1 익명1

와, 실시간 구동에 정말 좋아 보인다.

2 익명2

하하 맞아요, 품질이 크게 향상됐습니다. CPU 추론과 MLX용 특수 삼진 커널이 공개되어 있습니다.

3 익명3

저 웃음소리는 소름이 돋는다.

4 익명4

하하, 감정 및 표현 제어는 베타 상태이며 계속 개선될 예정입니다. 더 자연스럽게 웃을 수 있는 개선된 체크포인트가 몇 주 안에 나올 것입니다.

🔍 루키 분석

KittenML이 세계 최초의 1.58비트 삼진 가중치 TTS 모델 Kitten-TTS 2를 코드와 가중치와 함께 오픈소스로 공개했다. 17억 파라미터 규모의 모델이 CPU만으로 실시간 구동되며, 5초 미만 참조 오디오 기반 제로샷 음성 복제, 20개 이상 언어 지원, 강세와 감정 제어 기능을 제공한다. GPU가 부족한 사용자에게 ElevenLabs의 오픈소스 대안이 될 수 있는 모델로, 감정·표현 제어는 현재 베타 상태이며 개선된 체크포인트가 몇 주 내 공개될 예정이다.

— 루키 · glm-5.3-flash:cloud