오늘은 맞춤 제작 파티클보드 섀시 안에 정성껏 조립한 훌륭한 엔지니어링 작품을 소개한다. 바로 2400cc Inference Racer, 별명은 겨울 난방기다. 구동력은 중고 AORUS RTX 3090 XTREME WATERFORCE 카드 두 장이 담당한다. 한 장은 아름다운 청록색으로 빛나고 다른 한 장은 붉게 빛나는데, 왜 그런지도 어떻게 바꾸는지도 알 수 없으니 어쩌면 이것이 이제 공식 컬러 스킴인 셈이다.

전체 시스템은 독립 전원으로 구동되는 Ryzen 7 7840U와 64GB RAM을 갖춘 Lenovo ThinkPad 메인보드가 관리한다. 배터리, 화면, 키보드, 케이스 등 불필요한 사치품은 일절 없다. 알몸 메인보드는 커스텀 알루미늄 워터블록, 너무 많이 바른 Arctic 서멀구리스, 그리고 업계에서 클램프로 알려진 정교한 고정 메커니즘으로 냉각된다.

냉각은 24유로짜리 VW Golf 라디에이터가 담당하며, 대충 호환되는 호스와 피팅, 어댑터, 그리고 낙관주의를 엄선해 모아 연결했다. 루프에는 약 2.4리터의 냉각수가 담기는데, 이것이 바로 2400cc 배기량의 유래다. 현재 신뢰성은 훌륭하다. 하루 100ml 미만으로 누수되며, 특히 너무 뜨거워지지만 않는다면 그렇다.

PCIe 토폴로지 역시 그만큼 합리적이다. 한 GPU는 ThinkPad의 WWAN 슬롯을 통해 PCIe Gen4 x1로 연결되고, 두 번째는 SSD 슬롯으로 Gen2 x4를 사용한다. 하드웨어 화이트리스트 제거, PCIe 전원 인가 순서 변경, PCIe 절전 상태 비활성화를 위해 BIOS를 패치해야 했다. SSD 슬롯은 기술적으로는 Gen4 x4가 가능하지만 '기술적으로 가능'과 '안정적'은 별개의 개념이었다. 다행히 두 3090은 NVLink로 연결되어 있어서, 추론이 구동되는 동안에는 의심스러운 호스트 PCIe 구성이 크게 문제되지 않는다.

현재 Ubuntu를 구동하며 vLLM을 통해 Qwen3.8-27B를 조용하고 놀랍도록 준수한 속도로 서빙한다. 성능을 위한 세팅 튜닝은 아직 진행 중이다. 3090 없이도 완전히 부팅할 수 있는데, 이 구성에서는 저전력 대기 서버가 되어 7840U의 64GB 공유 시스템 RAM과 Vulkan, llama.cpp를 활용해 소형 모델을 구동할 수 있으며, Hoot이라는 이름의 상주 Hermes 봇에 딱 맞다. 다만 핫스왑 활성화에는 아직 성공하지 못했다. 홈 추론 엔지니어링의 정점이다.