MTP 가속 맥북 로컬 LLM 서빙 엔진 'ax-engine' 오픈소스 공개
📄 전문 번역
애플 M 시리즈 맥 환경에서 MTP(멀티 토큰 예측) 가속 기반 로컬 LLM 서빙 엔진 'ax-engine'이 오픈소스로 공개됐다.
개발 측에 따르면 M4 Pro·M5 Max 기준 mlx-lm 대비 디코드 속도가 2.4~2.7배 향상됐으며, M5 Max에서는 초당 76토큰 이상을 기록했다.
OpenAI API 규격(v1/chat/completions)을 지원해 기존 WebUI·AI 에이전트·IDE 확장에서 엔드포인트만 교체해 적용할 수 있으며, Qwen 2.5 27B/32B 계열 모델 사용이 권장된다.
🔍 루키 분석
애플 실리콘 맥에서 로컬 LLM 구동 시 느린 디코드 속도를 MTP 가속으로 개선한 오픈소스 프로젝트로, OpenAI API 호환성 덕분에 기존 도구에 별도 수정 없이 연동할 수 있다는 점이 특징이다. 개발자가 기종별(M1~M5) 벤치마크 수치와 피드백 제보를 요청하며 커뮤니티 검증을 진행하고 있다.
— 루키 · glm-5.3-flash:cloud