첫 LLaMA 33B를 접했을 때부터 나는 그 마법 같은 지능을 필요할 때 누구도 빼앗을 수 없는 내 것으로 로컬에 갖고 싶다는 것을 알았다. 집 PC용으로 3090을 샀다. 이후 LLaMA 65B가 등장하자 눈이 번쩍했는데, 세상의 모든 지식을 담고 있는 것처럼 보였다. 절대 잃지 않도록 로컬 한 벌과 Synology NAS RAID 한 벌, 두 개의 사본을 만들고 이를 구동하려고 두 번째 3090을 샀다. LLaMA와 Qwen 모델로 소규모 코딩 작업을 하며 1년을 만족스럽게 보냈다. 그러다 DeepSeek 671B MoE가 등장했고, 집에서 프런티어급 모델을 돌릴 수 있게 됐다. 512GB DDR4를 장착한 Threadripper로 업그레이드해 expert를 RAM에 오프로드하는 방식으로 8 t/s를 냈고, 속도가 필요할 때는 Qwen 235B를 10-12 t/s로 구동했다. OpenWebUI에서 이 모델들을 직장의 실제 코딩에 활용했다.

이후 에이전틱 코딩이 본격화되자 이 구성은 너무 느렸다. 100k 컨텍스트에서는 생성 속도가 절반으로 떨어졌고 prefill 때문에 아름답지만 고통스러운 경험이 됐다. 그래서 100Gbit 네트워크로 묶은 P620 기반 노드들에 16장의 3090을 구축했다. MiniMax M2, Qwen 235B, 심지어 Qwen 397B까지 누구라도 바랄 만한 수준으로 구동됐고, OpenCode에서 397B로 유료 프로젝트 하나를 통째로 완성했다.

하지만 더 큰 모델은 손에 넣을 수 없었고 집 전기 회로도 거부했다. 장비와 전기오븐을 동시에 돌리면 차단기가 떨어졌으며 발열과 안정성도 문제였다. 다음으로 연결 구성이 가능하다는 글을 읽고(공식 지원 최대는 3대) 4대의 ASUS GB10을 들였다. 6kW에서 50-60 t/s를 내던 것과 비교해 400W로 397B를 30 t/s로 돌릴 수 있었고, 흔들림 없이 거의 무소음이었다. 꿈이 현실이 됐고 이 구성으로 프로젝트 두 개를 더 완성했다.

이어 MiMo 2.5 Pro와 Kimi 2.6이 등장했는데 더 똑똑하고 생산성도 높았다. 8노드 클러스터에 대한 공개된 해법을 찾지 못했지만 GB10을 네 대 더 사서 작동하게 만들었다. 397B가 INT4 대신 FP8로 구동됐고 20% 더 빨랐다. NVIDIA 포럼에 8x Sparks에서 MiMo 2.5 Pro와 Kimi 2.6을 돌리는 최초의 해법을 올렸다. 결과가 너무 마음에 들어 형에게 자신만의 8x GB10을 사도록 설득했고, 형도 API 가용성과 비용 상승에 의존하지 않고 프라이버시를 지키며 최고의 오픈 모델을 로컬로 돌릴 수 있게 됐다. 형의 집은 내 집에서 도보 5분 거리다.

가장 크고 똑똑한 오픈 웨이트 모델인 Kimi K3(2.8T)가 등장하자 두 사람은 클러스터를 묶었다. 일상용으로는 8x 클러스터 두 개를, 집에서 최대 모델을 돌릴 때는 16x 한 세트를 쓴다. 여러 작업 끝에 NVIDIA 포럼에 16x Sparks에서 Kimi K3를 돌리는 최초의 실동작 해법을 공개했고, 여러 차례 반복을 거쳐 100k 컨텍스트에서 쓸 수 없는 수준의 7 t/s에서 300k에서 상당히 쓸 만한 20 t/s까지 끌어올렸다. 지금은 Sparks를 4대 더 추가하는 중으로, 작고 빠른 모델(GLM 5.3 Flash)이 24시간 내내 돌아가는 동안 대형 클러스터는 8x에 GLM 5.3과 다른 8x에 MiMo 2.6 Pro를 올리거나 16x Kimi K3, 또는 Qwen 3.8 2.4T를 구동한다. 대형 모델 속도 튜닝과 vLLM/SGLang 이미지 재빌드를 항상 하다 보니 상시 가동되는 소형 클러스터가 필요했다. 회사 프로젝트와 개인 vllm/sglang 프로젝트 모두 로컬 호스팅 모델만 쓰기로 했고 상용 모델 구독료를 낸 적이 없는데, 비용 때문이 아니라 로컬 모델의 미래에 대한 강한 확신 때문이다. 새 Sparks는 10월 2일에 도착하며, 같은 로컬 AI 바이러스에 걸린 동생용 Sparks 4대와 함께 온다 :)