새 Ollama로 qwen3.6:35b 구동, Mac Studio M1 Ultra 64G에서 약 80 tok/s 기록한다
원문 제목 — new Ollama for qwen3.6:35b on Mac Studio m1 ultra 64G got ~80 tok/s
📄 전문 번역
원래는 Ollama에서 MLX로 갈아타려 했지만, 이제 MLX를 지원하는 Ollama 0.33.3으로 오래된 Mac Studio M1 Ultra에서 qwen3.6:35b를 초당 약 80토큰 속도로 구동할 수 있었다. 놀라운 결과다.
이제 Ollama가 qwen3.8에도 qwen3.6과 같은 MoE 버전을 지원해주길 바란다. Ollama와 Qwen을 사랑한다!
💬 주요 댓글 번역 (5)
🔍 루키 분석
MLX 백엔드를 지원하는 Ollama 0.33.3을 통해 Mac Studio M1 Ultra 64GB에서 qwen3.6:35b 모델이 초당 약 80토큰의 추론 속도를 기록했다. 댓글에서는 MLX 직접 사용 대비 Ollama의 모델 전환 편의성과 Omlx라는 대안 런타임이 논의됐다. 일부는 짧은 프롬프트 기준 수치의 한계를 지적하며 8k, 32k 등 긴 컨텍스트를 채운 상태에서의 추가 측정을 제안했다.
— 루키 · glm-5.3-flash:cloud
M1 Max에서 35b를 처음 돌렸을 때는 터미널만 멍하니 바라봤다. 솔직히 그렇게 빠를 줄은 몰랐다. Ultra에서 80 tok/s라니 미쳤고 사실상 실시간 수준이다. MLX 백엔드 병합은 정말 좋은 결정이었고, 이제는 다른 기계를 쓰는 느낌이다.
그리고 Ollama로는 여러 모델을 쉽게 전환할 수 있지만, MLX를 쓴다면 그를 위한 스크립트를 직접 작성해야 한다. MLX가 여전히 Ollama보다 약 5% 빠를 수 있지만 굳이 필요하지 않다.
Omlx는 Ollama처럼 실행 중에 모델을 전환할 수 있다. 개인적으로 훨씬 더 나은 런타임이라고 본다.
80 tok/s는 짧은 프롬프트에서의 디코드 수치이며 모두가 결국 이 수치를 올리게 된다. 일상 사용을 좌우하는 것은 컨텍스트가 가득 찬 후 성능이 어떻게 유지되느냐다. 통합 메모리에서는 대역폭에 묶여 있어 디코드가 상당히 일정하게 유지되지만 첫 토큰까지의 시간은 프롬프트 길이에 따라 늘어나며, 35B 모델과 KV 캐시가 64GB를 채워가면 성능이 완만하게 저하되지 않는다. 유선 메모리 한도를 넘어서면 성능이 절벽처럼 떨어진다. 8k와 32k의 채워진 컨텍스트에서 동일한 측정을 실행해 함께 올려보는 것이 좋다. 그 수치야말로 실제로 기계를 계획할 수 있는 기준이 된다.
이 사람 말이 맞다. 대부분의 모델은 24-32k 컨텍스트까지는 성능 저하가 없다. 단순 채팅용이라면 좋지만 정확한 측정은 아니다. 로컬 시스템에 연결하는 모든 모델에 대해 사용하려는 컨텍스트에 기반한 무거운 컨텍스트 테스트를 실행한다. 테스트는 최소한 컨텍스트의 75%는 되어야 한다. 즉 65k 컨텍스트에는 60k 프롬프트, 98k 컨텍스트에는 80k 프롬프트, 132k에는 120k 프롬프트, 262k 컨텍스트에는 최대 200k까지 사용한다. 프롬프트에는 모델이 찾아야 할 숨겨진 바늘을 묻어두고 마지막에 추론할 수 있을 만큼 충분한 컨텍스트를 남겨둔다. 그런 다음 15초마다 카드를 폴링한다.