임대 대 구매 스레드를 읽을 때마다 양쪽 모두 확신에 찬 사람들이 있지만 실제로 숫자를 보여주는 경우는 드물다. 그래서 우리 팀의 의사결정을 위해 직접 계산을 돌려봤다. 도움이 될 수 있을까 해서 계산 과정을 공유하니, 틀렸다고 생각하는 사람은 얼마든지 지적해주기 바란다.

GPU 8장을 장착한 HGX H200 서버는 약 32만~42만 달러 선에 형성되며, 37만 달러 정도가 합리적인 중간값이다. 임대 측면에서는 9월 18일 기준 34개 업체의 온디맨드 H200 가격 중앙값이 GPU당 시간당 약 4.40달러였다. 가끔 보이는 2~3달러 요금은 스팟 가격에 가까운 수준이다. 구매가 37만 달러, 임대 환산 시간당 35.20달러로 계산하면 하드웨어 기준 손익분기점은 대략 가동률 100%에서 약 14.4개월, 60%에서 24개월, 40%에서 36개월로 나온다.

물론 버스트성 학습과 꾸준한 추론을 병행하는 대부분의 소규모 팀은 100% 가동률을 유지하지 못한다. 이는 어디까지나 하드웨어 수준의 비교일 뿐이다. 최소한 네 가지를 더 반영해야 한다. 전력과 냉각(코로 케이지 견적이 예상보다 높게 나왔다), 감가상각(어떤 수치를 가정하든 절반으로 깎아라. 지난 세대 데이터센터 부품의 중고 판매 시세는 얇다), 자기 시간, 유휴 시간이다.

결론은 대략 60%의 가동률을 2년간 유지하면 구매가 이기고, 40% 미만이면 임대가 이긴다는 것이었다. 유휴 용량을 오프테이크 네트워크에 판매해 장비 비용을 상쇄하는 방법도 있다. 이 커뮤니티 사람들이 실제로 어느 정도의 가동률을 보고 있는지 궁금하다.