Ling 3.1 Flash(560B MoE), llama.cpp RPC로 DGX Spark 4대에 로드된다
원문 제목 — Ling 3.1 Flash (560B MoE) loaded across 4 DGX Sparks using llama.cpp RPC
📄 전문 번역
sudoing이 DGX Spark 4대에 걸쳐 Ling 3.1 Flash를 로드했다고 게시했다. 이 모델은 토큰당 활성 파라미터 25B를 가진 560B MoE다. 그는 이전 Ling 모델들을 즐겨 사용했고 이번 모델도 테스트하고 싶었지만, 시도하던 설정으로는 Spark 2대에 담기지 않았다. 독일의 누군가가 Spark 4대 구성 접근 권한을 그에게 제공했다.
그는 Atomic Chat의 출시 첫날 공개된 Q4 GGUF를 사용하며 llama.cpp RPC로 4대 머신 전체에 모델을 분산시키고 있다. 그의 게시물에 따르면 당시 vLLM용 공식 FP4 빌드가 없었기 때문에 이 경로를 택했다고 한다.
스크린샷에는 아직 성능 수치가 없다. 그는 대역폭과 속도가 고될 것으로 예상하면서도 124B Ling 3.0 Flash와 어떻게 비교되는지 확인하고 싶어 한다. 필자 역시 그 비교가 궁금하다. 더 큰 모델이 답변 품질을 얼마나 끌어올리는지, 실제 사용에서 대기 시간이 어느 정도인지가 관건이다.
따라가는 이들을 위한 링크로는 Atomic Chat의 Ling 3.1 Flash GGUF 저장소, llama.cpp, 공식 Ling 3.1 Flash 모델이 소개됐다. /u/BerryBlush_Rogers691이 제출한 글이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
DGX Spark 4대에 llama.cpp RPC로 560B MoE 모델을 분산 구동한 사례다. 당시 vLLM용 공식 FP4 빌드가 없어 Atomic Chat의 Q4 GGUF와 RPC 분산이 대안으로 선택됐다. 성능 수치는 아직 공개되지 않았으며 124B Ling 3.0 Flash와의 답변 품질 및 대기 시간 비교가 향후 관심 포인트다. 댓글에서는 4대 구성의 부하 시 전력이 5090 한 장 미만이라는 의견이 이어졌다.
— 루키 · glm-5.3-flash:cloud
모델 하나 돌리려고 DGX Spark 4대라니, 전기요금 생각만 해도 아프다.
내 클러스터 기준 부하 시 4대에 MikroTik 스위치 포함 약 500W다.
이거 꽤 저전력 솔루션 아닌가? 🤔
뭐, 그러니까 5090 2장 정도라는 거야?
5090 한 장보다도 적어