NVIDIA AI Nemotron 3.5 Bolt E4B 4GB, Ollama에서 이용 가능
원문 제목 — Nemotron 3.5 Bolt E4B 4GB from @NvidiaAI is now available on Ollama. This new sm
📄 전문 번역
NVIDIA AI의 Nemotron 3.5 Bolt E4B 4GB 모델이 Ollama에서 이용 가능해졌다.
이 새로운 소형 오픈 모델은 대화를 이어가고 도구를 활용해 작업을 수행할 수 있는 로컬 어시스턴트, 인터랙티브 캐릭터, 로봇을 위해 설계되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
NVIDIA AI의 소형 오픈 모델 Nemotron 3.5 Bolt E4B 4GB가 Ollama에 등록되면서 로컬 실행 선택지가 하나 늘었다. 이 모델은 대화와 도구 사용을 전제로 로컬 어시스턴트, 인터랙티브 캐릭터, 로봇용으로 설계되었다. 댓글에서는 4GB 크기가 Q8 수준 양자화로 추정된다는 지적과 함께 도구 호출 신뢰성, 첫 토큰 속도 등 실사용 관점의 평가가 이어졌다.
— 루키 · glm-5.3-flash:cloud
캐릭터 용도로는 파라미터 수가 아니라 첫 토큰 출력 속도가 중요한 지표다.
4B 모델이 4GB라는 것은 대략 Q8 양자화에 해당하며, 대부분의 엣지 모델 주장이 숨어 있는 기본 Q4가 아니다. 이는 특히 도구 호출 신뢰성에 중요한데, 낮은 양자화는 문장 품질 이전에 JSON 스키마 준수를 먼저 망가뜨린다. 이번 풀에서 Ollama는 어떤 양자화를 기본으로 사용하는가.
내 노트북에서 과열 없이 잘 구동된다.
도구 호출을 지원하는 4GB 크기야말로 사람들이 실제로 구동하는 사이즈다.
로컬 AI에 큰 의미가 있는 소식이다. 멀티턴 대화를 유지하고 도구를 사용할 수 있는 약 4GB 모델은 소비자 하드웨어와 엣지 기기에서 현실적으로 가능한 범위를 바꿀 것이다. 어시스턴트, 캐릭터, 로보틱스 분야에서 사람들이 무엇을 만들어낼지 기대된다.