온프레미스 구동용 컴퓨터 하드웨어
원문 제목 — Computer Hardware to run on premises
📄 전문 번역
온프레미스에서 준수한 모델을 구동하기 위해 컴퓨터나 서버 구매를 검토하고 있다. 대략 70b 파라미터를 넘는 대형 오픈소스 모델을 돌리고 싶다.
Apple Studio나 Nvidia DGX Spark로 구동했다는 이야기를 읽은 적이 있다. 회사에서 200명의 사용자가 쓸 것을 감안해, AI 모델을 구동하는 데 필요한 하드웨어를 추천해 줄 수 있는가. 또한 실제 사용 사례를 알려주면 감사하겠다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
회사 200명 사용자를 위해 70b 파라미터급 오픈소스 모델을 온프레미스로 구동할 하드웨어를 구하는 질문이다. 댓글에서는 한 대로는 부족하다는 지적과 함께, 듀얼 Epyc CPU에 786GB DDR5, Nvidia H100 4장 구성이 몇십만 달러에 이르고 GPU당 최대 500W의 전력을 감당해야 한다는 현실적 비용이 언급됐다. RTX 3090 6장 장비로 6인 팀이 2년 가까이 코드 생성용으로 수백억 토큰을 처리한 운용 사례도 소개돼, 온프레미스 LLM 인프라의 규모와 비용 감각을 실제 운영자 경험으로 보여주는 글이다.
— 루키 · glm-5.3-flash:cloud
하하, 컴퓨터 한 대로는 200명 사용자를 감당할 수 없다.
글쎄, 어떨까 [킬킬]. 듀얼 Epyc CPU 구성에 786GB DDR5, Nvidia H100 4장, 넉넉하고 안정적인 스토리지… 몇십만(달러) 정도 드는 정도다. 그 걸출한 장비를 돌리는 비용은? GPU당 최대 500W TDP, 보드와 CPU 전체로 최대 1.2kW TDP다. 그리고 그게 효율적인 편으로 치는 것이다.
이 접근에 동의한다. 우리는 RTX 3090 6장 기반의 유사한 장비를 쓰고 있는데, 6인 팀에서 거의 2년 동안 잘 써 왔다. 개발 작업(코드 생성)으로 수백억 토큰을 처리했다. 그때 사둔 게 다행이다. 같은 구성을 지금 사려면 거의 두 배 비용이 든다.