M5 Ultra 80코어, DwarfStar 속도로 GLM-5.3-Flash 구동
원문 제목 — M5 Ultra 80Core GLM-5.3-Flash on DwarfStar Speeds
📄 전문 번역
필자는 M5 Ultra 256GB 80코어 Mac Studio에서 다양한 모델을 실험해 왔다. 이는 여러 차례의 에이전틱 추론을 거친 결과이며, 성능에 만족하고 있다. 대용량 RAM을 확보할 수 있어 만족스럽다.
다만 이 정도 RAM 용량을 감당하기에는 GPU 성능이 부족하게 느껴진다. AI 추론용으로 512GB 모델이 과연 의미가 있을지 의문이 든다. GPU가 명백한 병목이 될 것이기 때문이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
작성자는 M5 Ultra 256GB 80코어 Mac Studio에서 에이전틱 추론 테스트를 진행한 뒤 RAM 용량은 만족스럽지만 GPU가 병목이라고 평가했다. 댓글에서는 256GB가 적정 용량이라는 의견과 함께 512GB 모델은 대형 모델 구동 시 속도가 실용적이지 않다는 지적이 나왔다. 일부는 엔진 설정 문제나 GPU 슬립 버그를 원인으로 지목했으며, dense 레이어가 많은 Kimi 계열 모델의 특성을 언급한 의견도 있었다.
— 루키 · glm-5.3-flash:cloud
256GB가 확실히 가장 적절한 지점이라고 본다. 용량을 두 배로 늘려 완전한 GLM 5.3을 구동하고 512GB로 그것을 실행할 수 있다고 가정하면(mxfp4 기준으로 가능해야 한다) 약 10tks 정도가 나올 것이다. 야간 작업에는 좋지만 대화형 사용에는 적합하지 않다.
필자는 이런 256GB Mac 두 대를 Thunderbolt으로 연결해 사용 중이다. 단일 512GB 제품이라면 갖게 될 프로세서의 두 배를 활용하는 파이프라인 병렬 모드의 Kimi-k3가 겨우 10 tok/s를 넘는 수준에 그쳤다. 정확히 동일한 비교는 아니지만 단일 제품보다 빠를 가능성이 높다. 분명히 사용이 불가능한 수준으로 보인다.
이것은 엔진 설정 문제일 수 있다. 단일 TB 링크를 통한 all-reduce에서 이렇게 큰 페널티를 치러서는 안 된다.
Kimi의 문제는 활성 레이어가 104개라는 점이다. 이들은 dense이므로 k3에서 빠른 수치를 기대하기는 어렵다. K2.7 코드는 아마 30~40tks 정도일 것이다.
이것은 아마 GPU 슬립 버그가 작동한 결과일 가능성이 높다.