M5 Max 맥북 프로에서 초당 144토큰으로 구동되는 Qwen3.8-27B
원문 제목 — Qwen3.8-27B at 144 tok/s on an M5 Max MacBook Pro
📄 전문 번역
오픈소스 추론 엔진 Inco Splash가 공개됐다. 이 엔진은 해당 모델과 Apple 실리콘을 중심으로 설계됐으며, 디코드 속도는 Ollama 대비 최대 3배, oMLX 대비 2배, 에이전트가 서브 에이전트로 분산 실행될 때는 거의 4배에 이른다.
요구 사양은 M3 이상 칩, macOS 26.4 이상, 36GB 메모리다. 설치는 명령 한 줄이면 끝난다. brew install incoai/tap/splash, splash serve --model incoai/Qwen3.8-27B-Splash. 이것이 설정의 전부다.
에이전트를 이 엔진에 연결하면 Claude Code, OpenCode, Codex, Hermes에서 바로 동작한다.
앱 형태를 선호한다면 LM Studio에서도 이용할 수 있다. 최신 LM Studio Bionic을 받은 뒤 설정 > Runtime에서 Splash를 다운로드하고 모델을 내려받으면 된다. 동일한 엔진이 앱 안에서 Mac 로컬 에이전트 작업을 지원하며, 자세한 내용은 Inco 블로그에 정리돼 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Inco가 Apple 실리콘에 최적화된 오픈소스 추론 엔진 Splash를 공개했으며, M5 Max 맥북 프로에서 Qwen3.8-27B를 초당 144토큰으로 구동한다고 밝혔다. Ollama 대비 최대 3배, oMLX 대비 2배의 디코드 속도를 내며 LM Studio 앱에서도 동일 엔진을 사용할 수 있다. 댓글에서는 모델이 균일 4비트 양자화에 INT8 KV 캐시를 쓴다는 설명과 함께, 코딩 품질 우려와 AI 생성 홍보 문구에 대한 비판이 오갔다.
— 루키 · glm-5.3-flash:cloud
이 모델은 어떤 양자화를 쓰나요? 어떤 포맷인가요? 오픈소스 엔진인가요? 깃허브 저장소는요? 텔레메트리는 있나요? 매우 관심이 많은데 궁금한 점이 많습니다. 공유해 주셔서 감사합니다!
양자화에 관해서는, 이 모델은 단일 4비트 모델이며 KV 캐시는 INT8로 양자화됐습니다.
모든 가중치를 4비트로 하면 품질이 상당히 나빠질 텐데, 특히 코딩 용도로는 더욱 그렇습니다. 왜 최신 동적 양자화를 쓰지 않는 건가요?
그렇게 하면 M5 Max 맥북 프로에서 초당 144토큰을 달성할 수 없기 때문이겠죠.
게다가 '명령 두 줄이면 설정 끝'이라는 대체 텍스트까지. 게으른 AI 카피를 볼 때마다 만든 사람이 자기 프로젝트를 진지하게 대하지 않는다고 생각하기에, 내가 왜 진지하게 대해야 하겠습니까. 광고에서 AI 쓰레기를 걷어내지 못한다면, 나머지 제품에 대해 더 나은 기대를 할 이유가 없습니다.