Nemotron 3.5 Super VL을 과소평가하지 마라
원문 제목 — Don't sleep on Nemotron 3.5 Super VL
📄 전문 번역
안녕하세요 여러분, 제가 자체적으로 수행하는 벤치마크 중 하나는 웹 검색 없이 Anno 1602(1998년 게임)와 그 수많은 혼란스러운 에디션의 게임 규칙 같은 난해한 지식을 확인하는 것이다. 지금까지 이 모델은 틈새 정보에서 가장 근접한 결과를 보여줬다.
순위(1이 최고, 6이 최저)는 다음과 같다. 1위 Nemotron 3.5 Super VL 120B-A12B는 시민에서 상인으로의 승급에 소금을 환각했고, 정착민 승급에 필요한 교회를 빠뜨렸으며, 상인과 귀족 승급에 필요한 랜드마크를 빠뜨렸다. 2위 Gemma 4 31B IT QAT는 업그레이드 요건의 너무 많은 부분을 생략했다. 3위 DeepSeek v4 Flash Vision Exp는 엉뚱한 업그레이드 요건을 환각했다. 4위 Qwen3.5-122B-A12B, 5위 Qwen3.8-flash-next, 6위 GPT-OSS 120B는 모두 게임 에디션과 업그레이드 요건을 환각했다.
다른 모델들에 비하면 이는 엄청난 개선으로, 완전히 부정확한 수준에서 사소한 실수 수준으로 바뀐 셈이다. 모델 자체(unsloth의 양자화, NVFP4)는 듀얼 RTX 5060 Ti 16GB와 듀얼 48GB DDR5-6000MHz 구성에서 MTP 없이 레이어 분할 및 Vulkan으로 구동 시 생성 속도 약 8-10 t/s, 처리 속도 약 150-170 t/s를 기록한다. 좋은 모델로 계속 써볼 가치가 충분해 보이며, Gemma 4 31B IT QAT가 얼마나 유능한지도 놀라운 대목이다.
[편집] 사용된 추론 엔진은 llama.cpp 0.7.0이며, 모델은 Hugging Face의 unsloth 및 bartowski 저장소에서 내려받았다. GPT-OSS-120B에는 MXFP4, Qwen3.5-122B-A10B에는 Q4_K_S, Qwen3.8-flash-next에는 Q4_K_XL, DeepSeek v4 Flash Vision Exp에는 Q2_K_XL, Gemma 4 31B IT QAT에는 QAT + MTP(Q4_0), Nemotron 3.5 Super VL 120B-A12B에는 NVFP4 양자화가 사용되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
NVIDIA의 Nemotron 3.5 Super VL 120B-A12B가 웹 검색 없이 Anno 1602 게임 규칙을 묻는 틈새 지식 테스트에서 경쟁 모델들보다 뚜렷하게 적은 환각으로 1위를 기록했다는 사용자 평가다. unsloth의 NVFP4 양자화 모델은 듀얼 RTX 5060 Ti 16GB 환경에서 생성 약 8-10 t/s, 처리 약 150-170 t/s의 성능을 보였다. 댓글에서는 이런 결과가 학습 코퍼스의 다양성 확대를 시사한다는 해석과 함께 NVIDIA 모델의 GPU 코드 작성 강점이 언급되었다.
— 루키 · glm-5.3-flash:cloud
다음 세대의 벤치마크에 맞춰 과대학습된 모델들은 슈퍼 닌텐도, DOS, Windows 95 게임의 설명서로 대량 학습될 것이다. 이 테스트가 모델의 지능이나 실사용성에 얼마나 의미가 있는지는 모르겠지만, 이전보다 더 크고 광범위하며 다양한 코퍼스로 학습이 이뤄지고 있음은 시사한다. 혹은 NVIDIA 모델이라서 비디오 게임 정보에 우선순위가 주어졌거나(또는 단순히 더 접근하기 쉬웠거나) 그럴 수도 있다.
하지만 디컴파일은 할 수 있을까?
noscope-bench
이들의 게임 지식 데이터베이스는 엄청났을 것이다. 모든 게임 엔진의 작동 방식에 대한 내부 지식은 빙산의 일각에 불과할 것이다.
다르게 말하면, GPU 코드를 작성할 일이 있다면 NVIDIA LLM을 사용하는 편이 좋을 수도 있다는 뜻이다.