1부 (초대장) 저예산 AI 빌드 챌린지
원문 제목 — Part 1 (The Invite) Budget Ai-Build Challenge
💬 주요 댓글 번역 (4)
🔍 루키 분석
본문 없는 링크 포스트로, 저예산 AI 빌드 챌린지 시리즈의 1부(초대장) 성격의 게시물이다. 댓글에서는 RX6800XT와 RTX 5060 Ti 16GB 등 소비자급 GPU를 활용한 로컬 LLM 구동 성능과 커스텀 엔진 개발 사례가 공유되었다. 한 참가자는 티어 구분을 요청하며 4x V100 32GB SXM2 빌드 완성을 예고했다. AMD는 하드웨어는 우수하지만 소프트웨어 지원이 아쉽다는 평가도 함께 나왔다.
— 루키 · glm-5.3-flash:cloud
RDNA2 전용 커스텀 LLM 엔진을 개발하고 있다. 현재 RX6800XT에서 Qwen3.8-27B-GSQ-RCO-IQ3_S + dflash2 조합으로 생성 50-70 t/s, 100k 컨텍스트 프리필 200 t/s(kvarn5/4)를 기록한다. 디코드 70-100 t/s, 프리필 250 t/s까지 끌어올릴 수 있을 것 같지만 그것이 한계다. RX7900XTX가 정말 갖고 싶다. 적절한 소프트웨어만 갖추면 RTX 5080만큼 빠르면서 24GB VRAM에 절반 가격인 강력한 머신이다. 하지만 내 지역에서는 1000달러라 순수 재미로 쓰기에는 너무 비싸다. AMD의 소프트웨어 지원은 형편없지만 하드웨어는 정말 훌륭하다.
Linux Mint 시스템에서 llama.cpp용으로 직접 만든 NextJS IDE 프론트엔드를 구동 중이다. 사양은 9800X3D / 64GB 6000 CL3 / RTX 5060 Ti 16GB이며 CUDA 13.3으로 Qwen 3.8 IQ3_S 모델을 22 t/s로 돌린다. 16GB VRAM 예산 안에서 완벽하게 작동한다. 작업 시 환각과 재숙고(re-deliberation) 문제는 아직 다듬는 중이다. 이 시스템은 MiniMax H3 영상 생성 시스템이기도 하다. SageAttention 같은 기술이 단독 Qwen 3.8 작업 처리 속도를 높일 수 있는지 조사해봐야겠다.
음, 당신이 보여준 것보다 나은 장비를 가진 사람은 없을 것 같다. 부족한 것은 자신의 집을 제대로 된 SF적이고 생태적인, 과하게 설계된 황홀한 메가 울트라 슈퍼 쿼드래틱 시너지 미래 비전으로 바꾸는 일이라고 본다.
티어를 나눠주면 안 될까? 몇 주 후에 완성될 4x V100 32GB SXM2 빌드를 자랑하고 싶다 😁