20GB 프랑켄슈타인 GPU 리그 | 3060 + 2070 | Qwen3.8-27B | 68k 컨텍스트 | 100% GPU 오프로드 | 약 18 t/s
원문 제목 — 20GB Franken-GPU Rig | 3060 + 2070 | Qwen3.8-27B | 68k Context | 100% GPU Offload | ~18 t/s
📄 전문 번역
Unraid 위에 Ollama(Docker)와 Open WebUI를 구동하고 i5-13600과 48GB DDR4를 탑재한 시스템에서, RTX 3060과 RTX 2070을 묶은 총 20GB VRAM의 프랑켄슈타인 GPU 구성으로 Qwen3.8-27B-Uncensored 모델을 돌린다. Q4_K_M 양자화 모델은 16.8GB 크기로, 생성 속도는 초당 약 18토큰(17.89 t/s), 프롬프트 평가 속도는 230.07 t/s(29,396토큰을 27분 23초간 처리한 구간의 지속 측정치)를 기록했으며, 총 VRAM 사용량은 19,489 MiB(19.03GB)이다.
컨텍스트 길이(num_ctx)는 68,115로 약 51,000 단어에 해당하며, max_tokens는 66,500으로 설정했다. temperature는 think 비활성 시 0.7, 활성 시 1.0이고, top_p는 각각 0.8과 0.95, top_k는 20, presence_penalty는 1.5이다. num_gpu를 99로 강제 지정해 65개 레이어 전체(65/65)를 GPU에 오프로드했고, keep_alive는 -1, OLLAMA_FLASH_ATTENTION은 1, OLLAMA_KV_CACHE_TYPE은 q8_0으로 지정했다.
작성자는 nvidia-smi와 Ollama API를 조합한 커스텀 GPU 모니터링 셸 스크립트(gpu 함수)도 함께 공개했다. 이 스크립트는 GPU 사용률, VRAM 사용량, 온도, 팬 속도, 전력 소모를 색상 표시 바와 최대치 기록과 함께 실시간으로 보여주고, 로드된 모델의 VRAM 점유율과 언로드까지 남은 시간도 출력한다. Linux(Unraid)용으로 제공되었으며, Windows PowerShell 버전도 있지만 아직 테스트되지 않았다고 밝혔다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
RTX 3060과 RTX 2070을 조합해 총 20GB VRAM을 확보한 저비용 LLM 추론 시스템 구축 사례를 다룬다. Q4_K_M 양자화된 Qwen3.8-27B를 65개 레이어 전체 GPU 오프로드로 구동해 초당 약 18토큰의 생성 속도와 68k 컨텍스트 처리를 달성했으며, 플래시 어텐션 활성화와 q8_0 KV 캐시 양자화가 핵심 설정으로 꼽힌다. 칩셋 경유 x4 슬롯에 연결된 3060도 모델이 VRAM에 적재된 후에는 생성 속도에 영향을 주지 않는다는 점이 작성자의 답변으로 확인된다.
— 루키 · glm-5.3-flash:cloud
이런 프랑켄슈타인 조합으로 18 t/s를 뽑아내다니, 내가 예상했던 것보다 훨씬 좋은 성능이다.
Ollama의 레이어 핸드오프가 정말 훌륭하다! 다만 num_gpu: 99를 강제로 지정하지 않으면 상황이 엉망이 됐다.
미친 구성이다. 카드들이 PCIe 4.0 레인에 연결된 건가, 5.0 레인인가? 그리고 둘 다 16x인지 8x인지 정말 궁금하다.
3060이 약 2.25슬롯을 차지하는 바람에 2070을 상단 x16 슬롯(CPU 직결)에, 3060을 하단 x4 슬롯(칩셋)에 장착해야 했다. 로딩 시간이 1초 정도 더 걸리지만, 일단 VRAM에 올라가고 나면 3060을 x4로 구동해도 생성 속도에는 전혀 지장이 없다.