AMD Radeon R9700 1장에서 Qwen3.8 27B NVFP4 구동 시 153 tok/s, 동시 요청 8개에서 470 tok/s, 프리필 3,619 tok/s 기록
원문 제목 — 153 tok/s on 1x AMD Radeon R9700 running Qwen3.8 27b NVFP4, 470 tok/s @ 8 conc requests, Prefill @ 3,619 tok/s
💬 주요 댓글 번역 (5)
🔍 루키 분석
단일 AMD Radeon R9700에서 Qwen3.8 27B NVFP4 모델 구동 시 디코드 153 tok/s, 동시 요청 8개 기준 470 tok/s, 프리필 3,619 tok/s의 성능이 보고됐다. 댓글에서는 vllm의 직접 작성된 mxfp4 커널, Taichi X870E 메인보드와 64GB DDR5, GPU 간 P2P 활성화 등 구성 세부가 논의됐다. nvlink 없이 텐서 병렬화(tp)를 쓰는 것에 대한 우려와 함께 OP의 주장에 대한 회의적 반응도 나왔다.
— 루키 · glm-5.3-flash:cloud
OP가 더 말할 것이 무엇인지 모르겠다. 올라온 vllm 링크에 이미 'hand written mxfp4 kernel'이라고 적혀 있다.
이 분야는 변화가 빨라 어떤 가이드든 아마 오래된 데이터 기반일 것이다. GPU에서 P2P가 활성화되어 있어 문제 없다. Taichi X870E, 64GB DDR5 구성이다.
맞다, 2025년 초에 샀을 때는 게이밍과 개발용이었다. 그때는 AI가 지금처럼 로컬에서 대세가 될 줄 몰랐다. 사실 PCIe 레인 지원을 위해 다른 메인보드와 함께 Threadripper 구매를 고민했지만 추가 비용 때문에 접었다. 지금 알고 있는 것을 그때 알았다면 그 결정을 뒤집었을 것이다.
듀얼 R9700 외에 나머지 구성은 어떻게 되나? pp 대신 tp가 언급된 것을 보는데, 내가 접한 모든 가이드는 nvlink 같은 것이 없으면 tp는 권장하지 않는다고 했다.
힌트: OP는 자신이 하는 일이나 말하는 것에 대해 전혀 모른다.