MLX 전용 모델에 대한 집착
원문 제목 — obsession with MLX only models
📄 전문 번역
최신 모델들이 MLX 전용으로만 출시되는 데 대한 집착은 어디서 오는 것인가.
ollama run phonon 명령을 실행하면 'Hello from Ollama.'라는 문구와 함께 매니페스트를 가져오다가 오류가 발생하며, 오류 내용은 이 모델이 MLX 지원을 요구하지만 MLX 런타임을 사용할 수 없다는 것이다. 이 모델들이 MLX 지원만으로 배포되는 데 특별한 사유가 있는지 묻는 질문이다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
MLX는 Apple 실리콘 전용 프레임워크로, MLX 전용으로 배포되는 모델은 Mac이 아닌 환경에서 구동할 수 없어 비 Mac 사용자의 불만이 제기되고 있다. 커뮤니티는 통합 메모리와 빠른 변환 업로드를 MLX 우선 출시의 배경으로 보며, 비 Mac 사용자에게는 GGUF 버전을 찾으라는 조언이 나온다. Windows와 Linux 지원이 '곧 출시 예정' 상태로 지연되는 점도 이번 논쟁의 배경으로 지적된다.
— 루키 · glm-5.3-flash:cloud
MLX는 Apple 실리콘을 위한 Apple의 프레임워크이므로 MLX 전용 빌드는 Mac이 아닌 머신에서는 실행되지 않는다. 새 릴리스가 먼저 MLX로 등장하는 이유는 Mac 사용자층이 빠르게 변환해 업로드하고, 통합 메모리 덕분에 더 큰 모델도 실용적으로 구동할 수 있기 때문일 것으로 추정한다. NVIDIA나 AMD 카드를 쓰는 Linux 또는 Windows 사용자라면 같은 모델의 GGUF 버전을 찾아보라고 조언하며, Hugging Face에서 모델 이름에 GGUF를 더해 검색하면 커뮤니티 양자화 담당자들이 비교적 빨리 올리는 편이다. 이를 Ollama로 바로 가져오거나 Modelfile을 만들어 사용할 수 있고, GGUF 버전이 존재하지 않는 경우에 대한 설명으로 글이 끝난다.
그리고 Windows와 Linux용 '곧 출시 예정'은 실제로는 이뤄지지 않는다. 수개월째 곧 출시 예정이라는 내 DGX Spark 이미지 지원을 아직도 기다리고 있다. 참고로 릴리스 노트에는 현재 MacOS 전용이라고 명시돼 있었다.
Mac 사용자들은 늘 반짝이는 장난감을 먼저 챙기고 나머지 사람들은 오류 메시지만 바라보고 있다.
MLX를 이용하면 PR 없이도 커스텀 메가 커널을 손쉽게 붙일 수 있다. PRNG 기반 가중치를 다루는 SeedLM 실험 작업에서 이 점이 매우 유용하다. 또한 이 기법은 GPU를 크게 이점으로 삼지 않으므로 통합 메모리가 핵심이다.