RX 6700 XT로 몇 달간 로컬 AI를 밀어붙였다. 이 GPU를 심각하게 과소평가하고 있었다
원문 제목 — I spent months pushing my RX 6700 XT into local AI. I think I seriously underestimated this GPU.
📄 전문 번역
글쓴이의 구성은 RX 6700 XT 12GB, i5-11400F, 16GB RAM, Ubuntu 26.04에 ROCm/TheRock과 llama.cpp 조합이다. 지난 몇 달간 백엔드, 양자화, CPU/GPU 분할, KV 캐시, 배치 크기, 전력 제한, 점점 커지는 컨텍스트 윈도우를 실험해 온 글쓴이는 결국 35B A3B MoE 모델을 최대 256K 컨텍스트로 구동하는 데 성공했다고 밝혔다.
가장 중요하게 여기는 지표는 디코드 속도가 아니라는 점이 흥미롭다. 초당 약 20~24토큰 수준이라 6700 XT로는 디코드 벤치마크에서 승부할 수 없지만, 프리필과 장문 컨텍스트 처리, 지연 시간 관점에서 보면 GPU가 놀랍도록 유용해진다는 것이다. 구성에 따라 훨씬 높은 수치도 나왔지만 장문 컨텍스트 프리필을 초당 수백 토큰 수준까지 끌어올렸다고 설명했다.
글쓴이는 구형 GPU에 대해 잘못된 질문을 하고 있을지 모른다고 지적했다. '초당 몇 토큰을 생성할 수 있는가'보다 '시스템이 한계에 이르기 전에 GPU에 얼마나 많은 작업을 옮길 수 있는가'가 더 중요한 질문이라는 것이다.
6700 XT나 6750 XT를 로컬 LLM용으로 혹사하는 다른 사용자와 구성을 비교해 보고 싶다며 글을 맺었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
RX 6700 XT 12GB로 몇 달간 백엔드와 양자화, CPU/GPU 분할을 실험해 35B A3B MoE 모델을 최대 256K 컨텍스트까지 구동한 경험담이다. 글쓴이는 디코드 속도보다 프리필과 장문 컨텍스트 처리에서 저사양 GPU의 가치가 드러난다고 주장했다. 댓글에서는 Vulkan과 ROCm의 성능 차이, 구형 세대용 최적화 커널의 부재, 8GB 노트북 GPU로 진행한 유사 실험이 이어지며 구형 AMD 하드웨어의 재평가 분위기가 확인된다.
— 루키 · glm-5.3-flash:cloud
AMD 지원이 정말 빠르게 성장하고 있는데 이건 대단히 좋은 일이다.
100% 동의한다. 하지만 나는 여전히 Vulkan에서 더 나은 결과를 얻는다. 7.15 버전이면 달라질지도 모르겠다.
사실은 그렇지 않다. 이 결과를 얻기 전까지 이 AMD RDNA2(gfx1031)로 고생이 많았다. 프로필을 보면 내가 왜 그토록 골치 아팠는지 증거가 나온다.
당신 세대 하드웨어에 최적화된 커널이 있는지는 확실하지 않다. gfx906-TurboQuant 포크인 Artefacts는 llama.cpp에서 독보적 성능을 낸다.
나도 정반대 방향에서 비슷한 실험을 하고 있다. 8GB 노트북 GPU를 어디까지 밀어붙일 수 있는지 보는 것이다. 시스템은 Core Ultra 7 255HX에 RTX 5070 Laptop 8GB(115W), 32GB DDR5를 얹은 MSI Crosshair 16 HX AI D2XW다. 가장 놀라운 점은 VRAM보다 큰 모델도 여전히 쓸 만하다는 것이었다. 27B dense Q4 모델을 초당 4.4~5토큰 수준으로 돌렸고 30B~35B MoE 모델과 Gemma QAT 모델 등도 테스트했다. VRAM이 더 큰 데스크톱 카드에 비하면 느리지만 코딩이나 긴 추론 작업에는 충분히 쓸 만하고, 8K에서 16K 컨텍스트도 무리 없이 올렸다. 덕분에 로컬 LLM 성능을 보는 관점도 바뀌어, 모델 전체가 VRAM에 들어가는지보다 런타임이 이를 얼마나 잘 처리하는지에 더 관심을 갖게 됐다.