inclusionAI, 이미지·비디오 이해 지원 멀티모달 모델 Ling-3.0-flash-VL 공개
원문 제목 — inclusionAI/Ling-3.0-flash-VL · Hugging Face
📄 전문 번역
Ling-3.0-flash-VL은 Ling-3.0-flash의 언어, 추론 및 긴 컨텍스트 능력을 계승하면서 네이티브 이미지 및 비디오 이해 기능으로 이를 확장했다. 이 모델은 총 1240억 개의 파라미터를 보유하며 토큰당 55억 개의 파라미터만 활성화하고, 최대 100만 토큰의 컨텍스트 윈도우를 지원한다.
Ling-3.0-flash-VL의 아키텍처는 시각 정보를 실세계 추론과 에이전트 워크플로우에 통합하도록 설계되었다. ViT 비주얼 인코더가 이미지와 비디오에서 특징을 추출하고, 2층 MLP 프로젝터가 시각 특징과 텍스트 표현을 정렬해 통합된 멀티모달 이해와 추론을 수행한다. VideoRoPE는 공간 위치와 시간 순서를 모두 인코딩해 모델이 시간에 따른 시각 변화를 이해하도록 하며, 이벤트 위치 파악, 장편 비디오 질의응답, 비디오 클립 편집 같은 작업을 지원한다.
42층 하이브리드 백본은 KDA와 Gated MLA 층을 5:1 비율로 교차 배치해 텍스트, 이미지, 비디오 및 확장된 에이전트 작업 이력 전반에서 효율적인 긴 컨텍스트 처리를 가능하게 한다. 스파스 MoE 아키텍처는 총 1240억 개 파라미터의 모델 용량을 유지하면서 토큰당 55억 개 파라미터만 활성화해 강력한 멀티모달 성능과 추론 효율성 사이의 균형을 맞춘다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
inclusionAI가 Ling-3.0-flash의 언어 및 추론 능력을 계승하면서 이미지와 비디오 이해를 네이티브로 지원하는 멀티모달 모델 Ling-3.0-flash-VL을 공개했다. 이 모델은 총 1240억 파라미터 중 토큰당 55억 파라미터만 활성화하는 스파스 MoE 구조로, 최대 100만 토큰 컨텍스트를 지원하며 ViT 인코더, 2층 MLP 프로젝터, VideoRoPE, KDA와 Gated MLA를 5:1로 교차 배치한 42층 하이브리드 백본이 특징이다. 커뮤니티 반응은 활성 파라미터가 적어 빠른 점과 128GB MoE 시장 선택지 확대를 긍정적으로 평가하면서도, 일부는 Qwen3.8-Flash 대비 성능 차이를 지적하고 llama.cpp 지원과 GGUF 변환, 옴니 모델 후속 버전을 요청하고 있다.
— 루키 · glm-5.3-flash:cloud
inclusionAI, 부탁이니 llama.cpp PR과 함께 디퓨전 모델을 출시해 다오.
그들은 어제 바로 이 더 작은 디퓨전 모델 LLaDA2.2-mini를 출시했다. transformers 외에 이를 실행할 실질적인 방법이 없어서, 나는 GPT-6-Astra로 작은 Rust 런타임을 만들고 있다. 이미 transformers 버전보다 훨씬 빠르지만 대부분의 디퓨전 블록에 필요한 정제 횟수 때문에 속도가 기대만큼 인상적이지는 않다. 코드 블록은 정제가 거의 필요 없어 상당히 빠르게 동작할 수 있다. 디퓨전 블록은 한 번에 256 토큰을 처리하는 DiffusionGemma에 비해 32 토큰뿐이라 그런 한계가 있다.
아주 좋다! Ling Flash는 지난 몇 주간의 출시 소음 속에서 다소 묻혔지만 MoE 모델 선택지가 늘어난 건 반갑다. 활성 파라미터가 적어 꽤 빠른 편이라 시각 기능이 필요할 때 흥미로운 선택지가 될 수 있다.
좋지만 Qwen3.8-Flash에는 확실히 상당히 뒤처져 있다. 그래도 128GB MoE 시장에서 선택지가 다양해지는 건 반가운 일이다. 비-VL 모델을 직접 테스트해 봤는데 내 워크로드에서는 3.6-35B보다 나은 점이 크지 않았다. 그래도 GGUF가 나오면 내려받아 써볼 생각이다.
아주 빠른 좋은 모델이지만 여전히 이들의 옴니 모델 다음 버전을 기다리고 있다. 그때까지는 이 크기 클래스(128GB 통합 메모리에서 무리 없이 구동 가능한 모델)에서 Qwen3.8 Flash Next를 이길 모델은 없을 것으로 본다.