NVIDIA Nemotron Bolt 3.5 74B A9B, 10월 15일 출시된다
원문 제목 — NVIDIA Nemotron Bolt 3.5 74B A9B releases Oct. 15th
📄 전문 번역
이 모델은 74B 파라미터 중 9B를 활성화하는 MoE(mixture-of-experts) 모델로, 고도의 양자화 인식 훈련 기법과 함께 2비트 양자화를 적용해 품질을 유지하면서 24GB 용량에 담았다.
NVIDIA는 속도와 지능 사이의 최적의 균형을 달성하는 것을 목표로 하며, 이 모델은 대중적인 대부분의 dense 모델보다 빠르면서도 유사한 메모리 사용량을 가진 대중적인 MoE 모델보다 똑똑하다.
Nemotron 3.5 Bolt E4B 4GB 모델은 10월 23일 출시된다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
NVIDIA의 Nemotron Bolt 3.5 74B A9B는 74B 파라미터 중 9B만 활성화하는 MoE 모델로, 2비트 양자화를 통해 24GB에 담겨 10월 15일 출시된다. 더 작은 Nemotron 3.5 Bolt E4B 4GB 모델도 10월 23일 출시 예정이다. 커뮤니티에서는 llama.cpp 지원 추가와 출시 당일 지원 가능성에 기대를 표했으며, 일부는 예전에 공개된 75B Nemotron의 지원이 아직 없다는 점을 지적했다.
— 루키 · glm-5.3-flash:cloud
llama.cpp 지원이 추가되었다.
출시 당일(day 0) 지원이 곧 제공될 예정이다.
좋은 소식이지만, 내가 잘못 알고 있는 것이 아니라면 NVIDIA가 예전에 공개한 75B Nemotron에 대한 지원은 아직 추가되지 않았다.
기억이 맞다면 Nemotron-Puzzle은 일반 출시라기보다 연구 논문에 가까웠다. NVIDIA는 누구에게도 이를 사용하거나 튜닝하라고 권하지 않았고, Puzzle이 지능 손실을 최소화하면서 모델 크기를 줄이는 방법으로 여전히 연구 중임을 보여준 것에 불과했다.