드디어 네 번째 카드 장착 완료(총 64GB)
원문 제목 — Finally got my 4th card in (64gb total)
📄 전문 번역
T4용 블로워를 기다리던 중 완성 전에 게시했으며, 팬 전선용 브레이드 케이블 슬리브를 제외하면 거의 완성된 상태다. CPU 업그레이드도 검토했지만 훨씬 많은 코어를 갖춘 기존 시스템의 CPU와 비교해도 충분히 빠른 속도가 나오는 만큼 큰 차이는 없을 것으로 판단했다.
주요 사양은 Fractal Design Torrent 미드타워 케이스(Tinted Glass), SuperMicro X11SPA-T 메인보드, Xeon W3225, 768GB DDR4 ECC 2666, Tesla T4 16GB GPU 4장, Samsung 870 EVO SATA SSD 1TB 4장 RAID 구성이다.
Ubuntu 26.04에 llama.cpp와 openwebui, 커스텀 PowerShell 하네스를 조합해 운용 중이며, 이제는 GPU 카드를 더 추가하고 싶어지는 상태다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Fractal Design Torrent 케이스에 SuperMicro X11SPA-T 보드와 Xeon W3225, 768GB ECC 램, Tesla T4 4장을 갖춘 로컬 AI 추론 서버 구축 사례다. 작성자는 llama.cpp와 openwebui, 자체 PowerShell 하네스로 운용하며 기존 시스템 대비 속도가 충분해 CPU 업그레이드는 불필요하다고 판단했다. 댓글에서는 대용량 램을 활용한 MoE 모델 하이브리드 추론 제안과 기존 R640 서버 대비 시스템 선택 논쟁이 오갔다.
— 루키 · glm-5.3-flash:cloud
램이 그렇게 많은데, 다음으로는 Qwen 3.8 Flash 같은 더 큰 MoE 모델로 하이브리드 추론을 시도해 보지 않는 이유가 무엇인가?
당연히 시도할 계획이다. 지금은 우분투 시스템 간에 모든 것을 마이그레이션하고 모두 정상 작동하는 것만으로도 만족스럽다. 서비스가 매우 많아 NPM Plus에서 이 시스템으로 약 15개의 서로 다른 라우트가 연결되어 있으며, 곧 서브레딧에 통계를 올릴 예정이다.
납득했다. 더 유능한 시스템인 R640에서 AI 서버를 옮긴 이유는 무엇인가? 소음 때문인가?
어떤 점에서 더 유능하다고 보는가? 확실히 소음이 극심하지만 두 시스템을 직접 운용해 본 결과 새 시스템이 더 좋고 빠르며, 더 많은 카드를 수용할 수 있고 전원 공급 장치 업그레이드가 가능하며 48개 대신 64개의 PCIe 레인을 갖추고 있다. 기존 시스템의 어떤 점이 추론에 더 낫다는 것인가? 6개월간 사용했지만 새 시스템이 더 마음에 든다.
이론상 성능 이득의 대부분은 R640이 듀얼 CPU 시스템이라는 점에서 나온다. 즉 CPU 2개로 더 많은 총 PCIe 레인(96 대 64), 더 많은 스레드(대체로 큰 의미는 없지만 하이브리드 추론에 유용), 더 큰 최대 램 용량, 더 많은 물리적 램 스틱 장착 여유(더 저렴하고 많은 램), 더 많은 메모리 채널과 대역폭(하이브리드 추론)이 해당한다. 단일 CPU만 구동하면 R640은 현재 시스템에 확실히 밀리며, NUMA 노드는 매우 특수한 구성 요구와 오버헤드 때문에 다루기 까다롭고 R640은 또한 상당히 복잡한 어댑터를 필요로 한다…