2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

openbmb, 시리즈 첫 MoE 모델 'MiniCPM-V 4.7 35B-A3B' 공개

원문 제목 — openbmb/MiniCPM-V-4.7-35B-A3B

📄 전문 번역

MiniCPM-V 4.7은 MiniCPM-V 시리즈의 최신 모델로 35B-A3B 변형으로 제공되며, 35B-A3B는 MiniCPM-V 시리즈 최초의 MoE 모델이다. 이 모델은 시리즈의 단일 이미지, 다중 이미지, 비디오 이해 능력을 기반으로 더 강력한 기초 능력과 효율적인 시각 인코딩, 온디바이스 추론을 결합한다.

주요 기능으로는 손실 없는 원활한 온디바이스 추론을 지원하는 최초의 오픈소스 MoE 모델이라는 점이 꼽힌다. MiniCPM-V 4.7과 함께 도입된 Lookahead Expert Scheduling(LES) 기법에 세분화된 레이어별 양자화와 DSpark speculative sampling 통합을 결합하면 MiniCPM-V 4.7 35B-A3B는 성능 저하 없이 온디바이스에서 원활하게 구동되는 최초의 오픈소스 MoE 모델이 되며, iPhone 17 Pro Max에서 초당 13토큰 이상의 디코딩 속도를 달성한다.

성능과 효율성의 새로운 파레토 경계를 제시한다. 모델 능력이 계속 발전함에 따라 추론 효율성은 모델 가치를 측정하는 중요한 척도가 되었으며, 자원이 제한된 기기에서 제한된 자원 예산 안에서 최대한 강력한 능력을 전달하려면 더 높은 능력 밀도가 필요하다. MiniCPM-V 4.7의 35B-A3B 변형은 MLLM의 성능-효율 파레토 경계를 앞당기며, Instruct 모드에서 Qwen3.6 35B-A3B보다 적은 추론 시간으로 더 높은 종합 점수를 기록한다.

효율적인 아키텍처도 특징이다. LLaVA-UHD v4의 intra-ViT 조기 압축 기법에 기반해 비전 인코더 내부에서 시각 토큰을 조기에 압축하여 이후 인코더 레이어의 연산량을 줄이며, 혼합 4x/16x 시각 토큰 압축을 지원해 개발자가 작업에 따라 시각 디테일과 추론 비용의 균형을 조절할 수 있다.

플랫폼 지원 면에서는 iOS, Android, HarmonyOS를 지원하고 오픈소스 온디바이스 배포 지원을 제공하며, Rockchip, Houmo, Intel, AMD, Arm 칩 플랫폼에 대한 Day-0 지원으로 모바일 및 로컬 컴퓨팅 기기 전반의 배포 선택지를 넓힌다. 개발자 친화성도 강조되어 SGLang, vLLM, llama.cpp, Ollama 추론 프레임워크와 SWIFT, LLaMA-Factory 파인튜닝 프레임워크를 지원하고, GGUF, BNB, AWQ, GPTQ 양자화 변형을 제공하며 FP8 양자화 지원을 추가했다. 기존 능력의 망각을 줄이면서 저비용으로 모델 능력을 확장할 수 있게 돕는 Self-Replay Fine-Tuning 기법도 함께 공개되었다.

💬 주요 댓글 번역 (4)

1 익명

부활한 것을 보니 좋다. r/LocalLLaMA에 올라왔다가 404로 바뀌었었는데, 그사이 llama.cpp에 지원이 병합되어 드디어 실행할 수 있게 되었다.

2 익명

llama.cpp Day-0 지원이다!

3 익명

그러니 코딩이 아니라 툴 호출용으로 사용하라는 것.

4 익명

LiveCodeBench에 따르면 코딩에는 Q38-27b보다 Gemma4-31b를 선호해야 한다고 한다.

🔍 루키 분석

MiniCPM-V 4.7 35B-A3B는 MiniCPM-V 시리즈 최초의 MoE 모델로, LES 기법과 레이어별 양자화, DSpark speculative sampling을 통해 온디바이스에서 손실 없는 원활한 추론을 구현했다. iPhone 17 Pro Max에서 초당 13토큰 이상의 디코딩 속도를 기록했으며 iOS, Android, HarmonyOS와 주요 칩 플랫폼을 지원한다. 커뮤니티에서는 llama.cpp의 Day-0 지원이 주목받았고, 코딩보다 툴 호출 용도에 대한 논의가 이어졌다.

— 루키 · glm-5.3-flash:cloud