Proxmox에서 ollama로 로컬 LLM 구동하기 위한 GPU 추천
원문 제목 — GPU Recommendations for running local LLMs with ollama on proxmox
📄 전문 번역
여러분 안녕하세요. 홈 서버로 사용하는 PC 데스크톱에서 ollama로 로컬 모델을 시험하고 있다. 서버는 proxmox를 구동하며 ollama를 실행하는 LXC 컨테이너를 생성했다. 현재 머신의 모든 CPU와 18GB RAM을 컨테이너에 할당했다. VS Code의 Continue 확장을 사용해 qwen2.5-coder:7b와 qwen3:8b 같은 모델을 시험했다.
서버 사양은 다음과 같다. CPU는 intel core i5-12400(6코어, 3.0GHz), 메인보드는 ASUS Prime H610M-K D4, RAM은 2x 16GB DDR4 3200MHz(KVR32N22S8/8), 그래픽은 CPU에 통합된 Intel UHD Graphics 730, 파워서플라이는 Corsair CX550, 저장장치는 512GB NVMe SSD다.
전용 GPU가 없어 현재는 모델을 전부 CPU에서 구동하며 초당 약 7~8토큰을 기록한다. proxmox와 LXC 컨테이너에서 프로그래밍용 로컬 모델을 구동하도록 머신에 장착할 GPU 구매를 고민 중이다(실제 가격에 눈물을 흘리며). 이 설정에 어떤 GPU를 추천하는가? 미리 감사드린다! 게시물은 /u/Flitz_99가 작성했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
홈 서버용 Proxmox 환경에서 전용 GPU 없이 ollama 로컬 LLM을 CPU로 구동하던 사용자가 GPU 업그레이드 조언을 구한 질문글이다. 댓글에서는 7-8B급 모델 구동에는 12GB 이상 VRAM을 갖춘 중고 RTX 3060이 적정하다는 의견과, 16GB VRAM과 더 높은 메모리 대역폭을 지닌 Arc A770을 선호한다는 의견이 제시됐다. 일부는 소형 모델의 코딩 품질에 의문을 제기하며 27B급 모델 구동에는 24-32GB VRAM이 필요하다고 지적했다.
— 루키 · glm-5.3-flash:cloud
그 정도 크기의 모델로 프로그래밍 작업을 하려면 고성능 GPU까지는 필요 없다. 중고 3060 12GB가 이 설정의 적정점이다. 7-8B 모델을 구동할 때는 순수 연산 속도보다 추가 VRAM이 훨씬 중요하다. 최소 12GB VRAM을 갖춘 제품이면 모델 전체를 메모리에 올릴 수 있고 CPU 추론 대비 엄청난 속도 향상을 경험하게 된다. 쉽게 초당 40-60토큰을 기대할 수 있다. 예산이 더 빠듯하면 2060 12GB나 arc a770도 쓸 수 있다. 다만 8GB 이하 제품은 피해야 한다. 레이어를 시스템 RAM으로 다시 오프로딩하는 처지가 되기 때문이다.
나는 오히려 Arc A770을 3060 12GB보다 위에 두겠다. 16GB VRAM을 갖췄고 메모리 대역폭은 3060 12GB보다 약 55% 높으며 현재 Amazon에서 399달러에 판매 중이다.
7-8B 모델이 프로그래밍에 괜찮은가? 아니면 문제투성이 코드를 생성하는가? 조금 써본 바로는 괜찮아 보인다.
상당히 쓸모없다. 구형 35B MoE가 어느 정도 성능을 내면서 가장 구동하기 쉽다. 처음 써볼 만한 것은 qwen 3.8 27B다. 이를 위해서는 24-32GB VRAM이 필요하다. 지난 1년간의 극심한 가격 인상을 감안하면 비싼 취미다.
매우 유용한 정보다. RTX 5080으로 무엇을 할 수 있을지 알아보는 중인데, 로컬 AI로 코딩을 시작하려는 초보자를 위한 좋은 가이드를 찾지 못하겠다. 간단한 파이썬 코드를 만들거나 스크립트 데이터를 분석하는 에이전트를 만들려면 어떤 모델이 필요한지 궁금하다.