필자는 이 커뮤니티에서 늘 가성비 빌드에 관해 글을 올려왔고, 다음 대형 모델을 어떻게 구동할 것인지 자주 물었다. 그럴 때마다 다운보트를 많이 받기도 했고, 초당 5토큰으로는 제대로 구동하는 게 아니라고 지적하는 이들도 있었다. 하지만 상관없다, 큰 모델을 돌리고 싶은 갈망은 언제나 필자를 할인 매물을 찾게 만들었다. 이번 최신 빌드는 CMP170HX 64GB 12장 구성이며, RTX 6000 Pro 한 장 가격보다도 적은 비용이 들었다. 또한 광섬유로 다른 시스템과 연결해 메모리가 더 필요할 때 RPC로 활용한다.

이 시스템을 구축한 뒤로는 글을 별로 올리지 않았는데, 이제는 기계와 대화하는 편이 더 재미있기 때문이다. GLM5.3, DSv4.1Flash, Qwen3.8Flash, Qwen3.8-2.4T, KimiK3, MiniMaxM3를 구동하고 있다. 성능은 훌륭해서 RTX 6000 한 장이나 M3 Mac Studio라면 부러워할 만한 수준이다. 추론은 vLLM이나 llama.cpp로 수행한다.

API 사용이 더 저렴하다거나 본전 회수에 52광년이 걸린다거나 소음이나 전기 요금을 지적하는 답글이 달리기를 기대하고 있다. 아니, 전혀 아니다. 앞으로도 더 많은 기회가 있을 것이니 계속 찾아다니다가 나타나면 바로 잡아야 한다. 컴퓨팅 수요는 오랫동안 높게 유지될 것이다.