3000달러 128GB VRAM + 256GB DDR4 RAM 서버 구축
원문 제목 — 3k$ 128GB VRAM + 256GB RAM DDR4 Server
📄 전문 번역
홈 추론 서버 구축을 완료했다. 처음에는 Lenovo P620 워크스테이션을 시도했는데, 전체적으로 가성비는 좋았지만 수많은 Lenovo 독점 규격 요소를 다뤄야 하는 점이 불쾌해 결국 반품했다.
구성은 V620 4장 1400달러, 256GB DDR4 RDIMM 2666 610달러, Huanandzhi D12D 410달러, EPYC 7452 170달러, ASRock 1600 파워서플라이 220달러이며, Samsung 970 EVO 1TB SSD는 기존 보유품을 사용했고 케이스·팬·기타 부품에 약 200달러가 들었다.
이런 기계인 만큼 전력 소모도 상당하다. Qwen3.8-next-flash Autoround W4A16 기준으로 프리필 시 700~900W, 디코드 시 500~600W를 소모한다.
성능은 Qwen3.8-next-flash Autoround W4A16 모델을 vLLM 포크에서 MTP-2로 구동할 때 128k 이상 컨텍스트에서 프리필 초당 1300토큰, 코드 생성 시 초당 70토큰, 일반 글 생성 시 초당 60토큰 수준이다.
처음에는 이 기계와 Qwen3.8-27B 속도에 실망했지만, Qwen3.8 Next가 잘 구동되는 지금은 만족하고 있으며 앞으로 더 많은 최적화가 이루어지기를 기대한다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
작성자는 EPYC 7452 CPU와 V620 4장, 256GB DDR4 RDIMM을 조합해 총 약 3000달러 규모의 홈 LLM 추론 서버를 직접 구축했다. Lenovo P620 워크스테이션을 먼저 시도했다가 독점 규격 문제로 반품한 뒤 직접 조립을 택했다. Qwen3.8-next-flash Autoround W4A16 모델을 vLLM 포크에서 MTP-2로 구동해 128k 이상 컨텍스트에서 프리필 초당 1300토큰, 디코드 초당 60~70토큰 성능을 보고했으며 전력 소모는 프리필 700~900W, 디코드 500~600W에 달한다. 댓글에서는 V620 가격이 지역에 따라 R9700과 맞먹는다는 지적과 650유로 구매 사례 등 가격 논쟁이 오갔다.
— 루키 · glm-5.3-flash:cloud
내 나라에서는 이게 R9700과 가격이 맞먹는다.
맞아, 미친 가격이다. 이 가격이면 전혀 말이 안 된다. 개당 400~450달러 이상의 가치는 없다고 본다. 이 광풍이 빨리 끝나기를 바란다.
유럽에서 650유로에 하나 구했다. 완전 특가다.
세상에, 나는 1750을 주고 샀는데.
V620 주고?