올해 초 추론 인프라를 구축하려던 시기에는 16GB 테슬라 P100을 60~80달러에 구할 수 있었다. 클로드(Claude)에 물어보자 전혀 가치가 없다는 답이 돌아왔다. 텐서 코어가 없고, INT4/INT8 성능이 나쁘며, BF16도 지원하지 않는다는 것이었다. 특수한 전원 연결과 BIOS의 Above 4G 디코딩 옵션(희귀한 옵션인 것처럼 말했다), 그리고 반쯤 특수한 냉각 솔루션이 필요하다고 했다. 그 결과 llama.cpp에서 RX 6600 XT를 극한까지 최적화했다.

꽤 좋은 성과를 냈지만, 결국 마음을 바꿔 지난주에 P100 한 장을 구매했고 모레 도착했다. 적절한 커넥터를 갖춘 새 전원 공급 장치를 마련했다(어렵지 않고 비싸지도 않다. 좋은 브랜드 제품이 60달러까지 있었지만 여유를 두고 100달러짜리를 샀다). 성능 격차를 메우는 과감한 최적화가 담긴 여러 llama.cpp 포크와 패치, 그리고 녹투아(Noctua) 94mm 팬용 3D 프린팅 하우징도 준비했다.

정압이 부족해 프리필 단계에서는 카드를 식히기 어렵지만, 생성 단계에서는 충분히 강력하다. 이전 RX 6600 XT에서 Qwen3.6 35B A3B UD_Q4_K_XL을 MTP와 --cpu-moe 옵션으로 구동했을 때의 수치는 다음과 같다. PP는 0 컨텍스트에서 약 800, 10k에서 약 700으로 떨어졌고, TG는 산문 기준 약 30~35, 코드 기준 45~50이었다. 이 구성은 16비트 KV 캐시로 64k(그 이상도 가능) 컨텍스트를 처리할 수 있었으며, cpu-moe가 이 부분에서 큰 도움이 됐다.

약간의 튜닝과 shinbunbun의 llama.cpp 패치를 적용해 같은 모델을 같은 MTP 설정, --n-cpu-moe 22로 구동하니 PP는 0 컨텍스트에서 약 600, 10k에서 440~500을 기록했고, TG는 산문 기준 약 54~60, 코드 기준 66~72로 향상됐다. 현재는 32k 컨텍스트만 사용 중이다. n-cpu-moe 값을 높이면 더 많은 컨텍스트를 넣을 수 있지만 사용 환경이 그만큼 필요하지 않다(30k를 넘는 경우가 드물고, 영구 메모리 특성상 길게 유지되지 않는 대화가 많다).

Qwen3.6 35B와 Qwen 3.X 27B 계열 모델 간의 성능 격차가 크다는 것은 알고 있지만, 이 가격 대비 성과는 놀랍다. 구매 이후 가격이 전반적으로 약 15달러 올랐다. 그럼에도 100달러 미만으로 구할 수 있으며, 이 가격대에서는 다른 방법으로 얻을 수 없는 추론 성능을 제공한다. 두 번째 카드가 배송 중이라 모델 전체를 GPU에 오프로드할 수 있고, 3.8 27b도 시도해볼 수 있을 것이다. 현재 IQ3_K_XL 양자화로는 MTP 적용 시 초당 약 9토큰, 사실상 의미 있는 컨텍스트 없이 구동된다. 한 장에 들어가는 모델을 여러 장으로 분할하면 속도가 향상되는지는 아직 모른다. 완전히 새로운 영역이지만 어쨌든 즐기고 있다. 이 카드는 심하게 저평가된 제품으로, 로컬 AI를 시작할 수 있는 강력한 컴퓨팅을 (상대적으로) 저렴하게 확보하는 훌륭한 방법이다. 모델 실행 중 컴퓨터를 놔두고 맥북으로만 작업해야 했던 때(게임은 안녕)에서, 이제는 PC에서 무엇을 하든 모델이 백그라운드에서 작동하게 할 수 있게 됐다. 두 번째 카드가 도착하면 두 카드를 수용할 전용 추론 박스를 계획할 것이다. VW 라디에이터로 PC를 냉각하는 그 사람에게서 영감을 받았다.