CUDA/HIP: Flash Attention 튜닝(gfx1201) - pwilkin의 Pull Request #28102, ggml-org/llama.cpp
원문 제목 — CUDA/HIP: Flash Attention tuning (gfx1201) by pwilkin · Pull Request #28102 · ggml-org/llama.cpp
📄 전문 번역
RDNA4(R9700)와 RDNA 3.5(RX 9060 XT, 8060S)에서 pp 성능이 눈에 띄게 개선된다.
대형 컨텍스트에서도 좋은 수치가 더 나온다. PR에는 상세한 벤치마크가 포함되어 있다.
u/ilintar에게 감사를 표한다. u/pmttyji가 제출했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
pwilkin이 ggml-org/llama.cpp에 제출한 PR #28102는 gfx1201 대상 CUDA/HIP Flash Attention 튜닝으로 RDNA4(R9700)와 RDNA 3.5(RX 9060 XT, 8060S)의 pp 성능을 끌어올린다. 댓글에서는 이 변화가 R9700의 긴 컨텍스트에서 ROCm 백엔드 사용성을 되살렸다는 평가와 함께 vLLM이 여전히 더 빠르다는 반론이 오갔다. RTX 5060 Ti 16GB와 R9700을 함께 쓰는 사용자는 210W 대 300W 전력 절감을 약 10% 성능 손해로 감수할 만하다고 평가했고, 듀얼 R9700에서 Qwen3.8-27B Q8_0 벤치마크 수치도 공유되었다.
— 루키 · glm-5.3-flash:cloud
맞다, 이번 변화는 주로 R9700에서 큰 의미가 있다. ROCm이 긴 컨텍스트에서 다시 쓸 만해진다.
이건 rocm 문제가 아니라 llama 문제다. vLLM이 여전히 훨씬 빠르다
그렇다, 여기서 ROCm이라고 한 것은 'ROCm 백엔드에서 돌아가는 llama'를 뜻한 것이다.
정말 고맙다. 지난 12월에 RTX 5060 Ti 16GB를 산 뒤 지난달에는 R9700도 샀다. GPU에 이렇게 많은 돈을 쓰게 될 줄은 상상도 못했다. 하지만 게이밍이 아니라 로컬 LLM을 위한 것이다. 게이밍용이었다면 사지 않았을 것이다. 전력 소비를 낮춰서 사용 중이다. PP와 TG에서 약 10%의 손해를 치르고 300W 대신 210W를 아끼는 것이 가치가 있다. 적어도 나에게는 그렇다. 두 카드를 모두 사용할 계획이다. RTX는 게이밍과 AI용으로 PCI-E 4.0 x16 슬롯에, AMD는 더 느린 다른 슬롯에 꽂는다. 내 메인보드는 Bifurcation을 지원하지 않지만 읽어본 바로는 손해가 그리 크지 않을 것 같다. 벤치마크도 몇 가지 해볼 계획이다.
와, 대단한 업그레이드다: unsloth-Qwen3.8-27B/Qwen3.8-27B-Q8_0.gguf를 듀얼 r9700에서 구동하고 llama-benchy로 qwen3.8 모델을 depth 0, 4096, 8192, 16384, 32768 조건의 latency 모드로 측정했다. pp2048은 1166.12±14.75 t/s, ttfr 1739.02±12.71ms, est_ppt 1543.71±12.71ms, e2e_ttft 1739.02±12.71ms였고, tg32는 37.32±2.41 t/s(피크 38.53±2.49 t/s), depth 4096에서의 pp2048은 1340.76±8.83 t/s, ttfr 4357ms(이후 수치는 게시에서 잘림)를 기록했다.