채굴용이던 BC-250 보드 5장으로 Qwen3-Coder-Next Q4를 초당 40토큰으로 구동하는 '몬스트로시티' 완성한다
원문 제목 — I’m calling this the Monstrosity. 5 ex mining BC-250 boards Qwen3-Coder-Next Q4 at 40 tok/s
📄 전문 번역
ASRock 12유닛 케이스를 사용해 보드 한 장을 메인으로 구동하고 나머지는 헤드리스로 운영한다. 약 71GB의 VRAM이 확보되어 있다. 현재 30k 컨텍스트에서 초당 40토큰이 출력되며, 100k 컨텍스트에서는 약 초당 30토큰으로 떨어진다. 모든 통신은 보드에 기본 장착된 1Gb 이더넷을 통해 이루어진다.
같은 보드를 2장 더 보유하고 있어, 3.8 Flash Next가 실용적인 속도로 구동되는지 확인하기 위해 추가로 가동할 계획이다. 이 구성은 전력 효율이 극도로 낮지만 비용은 800달러 미만이었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
채굴용으로 쓰이던 BC-250 보드 5장을 ASRock 12유닛 케이스에 담아 약 71GB VRAM을 확보하고, 보드 내장 1Gb 이더넷으로 연결해 Qwen3-Coder-Next Q4를 30k 컨텍스트 기준 초당 40토큰으로 구동한 사례다. 100k 컨텍스트에서는 초당 30토큰으로 하락하며, 전체 비용은 800달러 미만이지만 전력 효율은 낮은 편이다. 댓글에서는 모델 선택 근거에 대한 의문이 제기되었고, 작성자는 벤치마크 확인 없이 모델 크기만 보고 선택했음을 인정하며 3.635B 모델 3개 구동이나 Flash Next XS 등 대안 실험을 예고했다.
— 루키 · glm-5.3-flash:cloud
왜 하필 Qwen3-Coder-Next인가?
LLM이 그 모델이 훌륭하고 현대적이며 최첨단이라고 해서 선택한 것으로 추측된다
얼마 전까지 나도 똑같았다
그 이유도 있지만, 각 카드의 메모리를 가득 채우고 그것이 속도에 어떤 영향을 주는지 보고 싶었기 때문이기도 하다. 설정을 끝낸 지 한 시간 만에 흥분한 상태로 게시했고, 벤치마크는 전혀 확인하지 않고 크기만 봤다. 이제 몇 가지 조언과 추가 조사를 거쳐 3.635B 모델 3개, Flash Next XS 등을 구동해볼 예정이다. 이런 작업은 처음 해본다.
이 구성에서 최대의 지능과 처리량을 얻으려는 것이다. 보드를 2장 더 추가하면 Flash Next 외에 이 하드웨어에 맞는 '현대적인' MoE 모델은 사실상 없다.