약 3GB 메모리로 휴대폰에서 구동되는 35B 멀티모달 모델? MiniCPM-V 4.7 데모가 상당히 파격적이다
원문 제목 — A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
📄 전문 번역
OpenBMB가 공개한 MiniCPM-V 4.7 데모에서 온디바이스 구동 능력이 인상적이다. 35B-A3B MoE 비전-언어 모델이 모바일 기기에서 로컬로 구동된다는 점 자체도 흥미롭지만, 주목을 끄는 것은 사용 사례다. 실제 세계의 간판 읽기, 복잡한 문서 이해, 시각 정보에 대한 추론, 실제 제약 조건을 반영한 계획 수립 등이 그것이다.
핵심은 LES(Lookahead Expert Scheduling)로 보인다. 모델을 단순히 작게 만드는 대신, MoE 추론에서 사용될 전문가를 예측해 미리 로딩함으로써 병목을 줄이는 방식이다. 이와 함께 더 제약적인 기기를 위한 소형 모델 MiniCPM-V 4.7 1B도 공개되었다.
또 다른 흥미로운 추가 요소는 SRFT(Self-Replay Fine-Tuning)다. 이는 개발자가 일반 능력을 유지하면서 특정 작업에 맞게 모델을 커스터마이징할 수 있게 하는 것을 목표로 한다.
방향성이 흥미롭다는 평가다. 모든 이미지와 질문을 클라우드로 보내는 대신, 성능 좋은 멀티모달 어시스턴트가 휴대폰에서 직접 구동되는 미래에 가까워지고 있다는 것이다. 모델은 GitHub와 Hugging Face를 통해 공개되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
OpenBMB의 MiniCPM-V 4.7은 35B-A3B MoE 구조의 비전-언어 모델로, LES를 통해 사용될 전문가를 예측·미리 로딩해 모바일 온디바이스 추론 병목을 줄인다. 클라우드 전송 없이 휴대폰에서 멀티모달 어시스턴트를 구동하려는 방향이 이번 발표의 핵심이다. 댓글에서는 MoE와 MTP 덕분에 대형 모델도 구형 게이밍 PC에서 구동 가능하다는 반응과 함께, 8GB VRAM 구형 GPU에서의 구동 가능성에 대한 질문이 오갔다.
— 루키 · glm-5.3-flash:cloud
이런 새 기법들이 매주 쏟아져 나오는 걸 보면 몇 년 후 우리가 무엇을 할 수 있을지 궁금해진다. 구형 게이밍 PC에서 조 단위 파라미터 모델을 돌리는 것도 이제 멀어 보이지 않는다.
꿈꾸나 보다! 하지만 그 꿈이 이뤄지기를 바란다!
사실 qwen 3.8 flash next 125b-170b는 이미 구형 게이밍 PC에서도 꽤 잘 돌아간다. MoE와 MTP를 결합한 덕분이기도 하다. 이런 종류의 프로젝트도 이미 존재한다.
그럼 이걸 8GB VRAM짜리 오래된 AMD Radeon PC에서 돌릴 수 있나?
그렇다. 약간의 DRAM도 필요하고, 최적의 양자화는 아닐 수 있다. 하지만 이런 기술은 나날이 좋아지고 있다.