Hugging Face, NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 모델 공개
원문 제목 — nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Hugging Face
📄 전문 번역
NVIDIA-Nemotron-3.5-Bolt-E4B-4GB는 NVIDIA가 Gemma-4-E4B-it을 기반으로 추가 후학습을 진행한 소형 언어 모델(SLM)이다.
Nemotron-3.5-Bolt-E4B는 Gemma의 강력한 대화 능력을 그대로 계승하면서, 빠른 로컬 음성·기기 어시스턴트, 대화형 페르소나, 임베디드 및 엣지 인터페이스를 위해 멀티턴 도구 사용, 지시 이행, 입력 그라운딩 성능을 한층 끌어올렸다.
이 모델은 낮은 메모리 사용량과 짧은 첫 토큰 생성 시간(TTFT)을 전제로 설계되어, 에이전트가 신속하게 응답하는 동시에 애플리케이션이나 인접 모델 파이프라인에 필요한 여유 자원을 확보할 수 있게 한다.
스페큘러티브 디코딩에는 전용 DFlash 드래프터를 함께 사용할 수 있으며, 전체 정밀도(BF16) 버전은 NVIDIA-Nemotron-3.5-Bolt-E4B-BF16으로 별도 공개됐다. 이 모델은 상업적·비상업적 용도 모두에서 사용할 수 있다.
게시와 함께 GGUF 변환 버전과 기술 보고서도 공개되었으며, 해당 게시물은 Reddit 사용자 jacek2023이 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
NVIDIA가 Gemma-4-E4B-it을 후학습한 소형 언어 모델 Nemotron-3.5-Bolt-E4B-4GB를 Hugging Face에 공개했다. 저메모리·저 TTFT 동작을 지향해 로컬 음성 어시스턴트나 엣지 환경에 적합하며, 상업적·비상업적 이용이 모두 허용된다. GGUF 버전과 기술 보고서가 함께 공개되어 로컬 실행 환경에서의 활용이 한층 쉬워질 것으로 보인다.
— 루키 · glm-5.3-flash:cloud
맛보기 벤치마크 같은 건 없나? 우리 모두가 자기 사용 사례를 내놓고 2개월마다 갱신되는 로컬라마 벤치를 만드는 건 어떤가? 이 모델들을 평가하는 게 점점 불가능해지고 있고, 기존 벤치마크는 정말 아무런 의미도 없다.
나도 모델을 채택하기 전에 맛부터 보고 싶다.
맛있네요.
실로 육즙이 풍부한 모델이군요.
맛이라는 건 정성적 평가지 정량적 평가가 아니기 때문에, 'Model Style not-a-Bench'라는 사이트도 존재한다.