의료·차트 작업 등에 어떤 Ollama MLX 모델이 적합할까
원문 제목 — Which Ollama MLX model for medical stuff, charts etc?
📄 전문 번역
안녕하세요, M4 Pro 64GB 맥을 사용 중이며 코딩 관련 작업에는 Qwen3.8 27B를 쓰고 있지만 상당히 느립니다.
추론과 의료 관련 작업에 강한 빠른 모델을 찾고 있으며, 차트 생성은 물론 스크린샷 분석까지 가능하면 좋겠습니다.
맥에서 Ollama를 사용하고 있어 가능하면 MLX 모델을 선호합니다. 미리 감사드립니다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
M4 Pro 64GB 맥 사용자가 코딩용 Qwen3.8 27B의 느린 속도를 개선하고자 의료, 추론, 차트, 스크린샷 분석에 적합한 Ollama MLX 모델을 추천받는 질문이다. 최다 추천은 MoE 구조의 Qwen3-30B-A3B로, 토큰당 활성 파라미터가 약 3B에 불과해 dense 27B보다 훨씬 빠르면서 추론 성능도 더 좋다는 평가다. 다만 비전 기능이 없어 스크린샷 분석에는 Qwen2.5-VL이나 Gemma 3 27B를 병행하라는 조언이 이어졌고, LM Studio의 Splash 엔진 제안과 함께 m5 pro에서 측정한 55tps 및 150tps 내외의 속도 수치도 언급되었다.
— 루키 · glm-5.3-flash:cloud
짧은 답변: MLX의 Qwen3-30B-A3B입니다. 긴 답변: MoE 모델로 토큰당 약 3B 활성 파라미터라 M4 Pro에서 기존 dense 27B보다 훨씬 빠르면서 추론도 더 잘합니다. 다만 비전 기능은 없어서 스크린샷 분석에는 Qwen2.5-VL이나 Gemma 3 27B를 함께 실행하세요.
감사합니다, 한번 시도해 보겠습니다.
MLX 대신 LM Studio의 Splash 엔진으로 실행해 본 적 있나요?
Splash 엔진은 들어본 적 없지만 예전에 LM Studio에서 MLX 모델을 써 본 적은 있습니다.
지금은 거기서 선택 가능한 모델이 Qwen 3.8 27b와 35b-a3b 두 개뿐인 것 같지만 이 모델들은 제 m5 pro에서 실제로 쓸 만합니다. 27b에서는 약 55tps, a3b에서는 150tps 정도가 나옵니다. 수정: 지금은 선택 가능한 모델이 더 늘어난 것 같습니다.