DeepSeek, 이제 Ascend 950으로 학습한다
원문 제목 — DeepSeek now trained on Ascend 950
📄 전문 번역
26개월 전 리앙원펑(Liang Wenfeng)은 "누군가는 프론티어에 발을 내디뎌야 한다"고 말했다.
이제 이들은 Ascend 950에서 모델을 학습하고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
26개월 전 리앙원펑의 '프론티어에 발을 내디뎌야 한다'는 발언에 이어 DeepSeek가 Ascend 950 기반으로 모델을 학습하고 있다는 소식이다. 댓글에서는 화웨이 96GB GPU에서의 llama.cpp 실행 여부와 Ascend 300i 카드 2장으로 120B가 넘는 모델을 구동한 사용자 사례가 화제를 모았다. 해당 사용자는 커스텀 최적화로 s=1 기준 30tok/s, 4스트림 기준 60tok/s를 기록했으며, 대역폭 제약에 따른 밀집 모델 성능과 DGX Spark·Strix Halo 대체 가능성에 대한 논의도 이어졌다.
— 루키 · glm-5.3-flash:cloud
화웨이 96GB GPU에서 llama.cpp를 써본 사람 있나?
카드 2장을 쓰고 있고 곧 3장째를 살 예정이다. 지난 2주간의 커스텀 작업으로 Qwen3.8-flash-next에서 4스트림 기준 30tok/s와 60tok/s를 기록했다. 이에 대한 글을 올리고 싶지만 아직 여기에 글을 올릴 카르마가 부족하다. 지금은 GLM 관련 작업을 진행 중이다.
카드 2장 보유 중이며 곧 3장째를 구매할 예정이다. 지난 2주간 커스텀 작업으로 Qwen3.8-flash-next에서 4스트림 기준 30tok/s와 60tok/s를 기록했다. 자세한 내용을 더 알려달라. 언제 샀고 얼마였는지? Qwen3.6-35B-A3B 같은 중형 모델과 기타 MOE에서는 몇 t/s가 나오는지? 대역폭(200GB/s?) 때문에 밀집 모델에서는 성능이 좋지 않을 것 같은데, DGX Spark와 Strix Halo(둘 다 250~300GB/s 수준의 대역폭)의 좋은 대안이 될지 알고 싶다. 이에 대한 글을 올리고 싶지만 아직 카르마가 부족하니, 당분간은 최소한 프로필 페이지에라도 올려주기 바란다.
35B 모델 이야기를 하고 있는데, 내가 modelsim과 golden math reference를 사용해 포팅한 모델은 120B가 넘는다. s=1에서는 30tok/s, s=4에서는 60tok/s다. 최적화를 몇 가지 더 진행 중이지만 카드 2장으로는 한계에 근접하고 있다.
사실 그건 내 이전 슈라우드 디자인이고, 지금은 저런 모습이다.