안녕, 나는 JetBrains 소속이다. 이 모델의 스냅샷을 한동안 만져봤다. 내일 Q6 MLX 변형을 올린 뒤 관련 포인트를 다룬 영상을 만들 계획이니 질문을 달라. 16GB 타겟(그래서 Q6)에 코딩 우선, 그 크기의 MoE(더는 아무도 이 세그먼트에 관심을 두지 않는 것 같다)에 매우 빠르고 오픈이며 유럽산이라 좋을 게 많다. 첫 사용 때 Pi+Superpowers 스킬이 모든 작업에 이 모델을 쓰라고 명령했는데 Mellum이 그것을 문자 그대로 받아들여 녹아내렸다. OpenCode에서도 마찬가지였다. 지금은 이를 활용하게 해줄 OpenCode 서브에이전트와 pi-subagent 구성을 작업 중이다

공유해줘서 고맙다 Paul. 2.0 대비 확실한 개선으로 보인다. CAI 지원 관련해 가진 것이 있다면 확실히 관심이 있다. 그 API들과 Apple이 지금까지 지원한 것보다 더 이색적인 양자화를 구현할 수 있을 가능성이 기대된다. 몇 가지 질문: 이 모델에서 사람들이 성공적으로 쓰는 파인튜닝 레시피(RL이나 SFT)를 공유할 수 있는가? 내장 스페큘레이티브 디코더가 있다는 것을 봤는데 16 또는 24GB Mac에서 어떤 속도가 나오는가? 에이전틱 용도에 대한 전반적인 느낌은 어떤가? 꽤 매력적인 모델 크기다. 나는 전형적으로

CoreAI 쪽은 작동하지 않을 수도 있다. 지금까지 Mellum은 아키텍처가 충분히 달라서 coreai-model-zoo 방식을 따라가려면 일종의 커널 작업이 필요할 수 있다. 하나 더 밝은 점을 덧붙이면 파인튜닝이다. 12B급에 LoRA용 MoE가 있다는 것은 16GB 사용자도 튜닝에 참여할 수 있음을 의미한다. 측정은 해봐야겠다. 나는 현재 부끄러울 정도로 큰 Mac을 쓰고 있고 M1 Pro 32GB에 접근할 수 있다. 다른 사람들도 참여하면 좋겠다. Hybrid/Local AI 관련 DeepLearning.AI 강좌를 썼는데 원래는 Mellum 2를 모델로 쓰려 했고 녹화 전날 밤 갈아타야 했다

멋진 물건이다. Ryzen 370HX 노트북의 리눅스 사용자로 로컬 개발에는 qwen3.6 35b MoE를 쓰고, neovim에서는 스마트 완성 모델로 FIM 모델을 쓴다. 이 용도로 Mellum 2를 알아봤지만 상시 FIM 모델로는 너무 무겁다. 현재는 더 오래되고 작은 qwen2.5-coder 3b를 쓴다. 상시 코드 완성용 더 작은 버전이 나오면 좋겠다. 아직 코드를 직접 만지고 싶어하는 소수의 우리를 위해서라도 :)

Mellum 측은 이번 2.1 Thinking이 아니라 2.0 Instruct를 FIM용으로 추천한다. 그러니 아쉽게도 아직은 어긋나 있다. 참고로 나도 같은 부류다, 코드 우선파다