채굴 출신 BC-250 APU 2개로 로컬 AI 입문, Qwen3.6-35B-A3B Q4_K_M을 64k 컨텍스트에서 60 tok/s로 구동한다
원문 제목 — My foray into local ai. Two BC-250 ex mining apus running Qwen3.6-35B-A3B Q4_K_M at 60 tok/s with 64k context
📄 전문 번역
작성자는 보드를 개당 115달러에 구입했으며, Bazzite에서 llama.cpp의 Vulkan과 RPC를 이용해 두 보드를 연결했다.
두 보드의 GPU 메모리는 합쳐 약 27GB에 달하며, 1Gb 이더넷으로 서로 통신한다.
파워서플라이를 포함해 약 300달러의 총비용으로 성능에 만족하고 있다는 평가다.
작성자는 보드를 몇 개 더 보유하고 있으며, 6개를 묶어 Qwen 3.8 Flash 구동을 시험해볼 계획이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
BC-250은 채굴용으로 쓰이던 APU로, 개당 115달러라는 저렴한 비용으로 로컬 LLM 추론 환경을 구축한 사례다. Vulkan과 RPC 기반의 llama.cpp 분산 구성으로 합산 약 27GB의 GPU 메모리를 확보해 64k 컨텍스트에서 초당 60토큰의 추론 속도를 기록했다. 다만 대기 전력이 보드당 70W로 높은 편이라는 지적이 있으며, 작성자는 보드를 6개까지 확장해 Qwen 3.8 Flash 구동을 시험할 계획이다.
— 루키 · glm-5.3-flash:cloud
덕트 테이프로 고정한 팬이 마음에 든다. 핀은 아직 펴지 않았나?
그렇다. 이제 이 핀 뽑는 건 제법 프로가 됐다 ㅋㅋ
훌륭하다! 대기 전력 소모는 얼마나 되나?
대기 시 보드당 70W라 최고는 아니다
내 것은 이렇게 깔끔하지 않다. 잘 만들었다.