로컬 AI 입문자, AMD GPU 기반 Ollama 구동에 도움 요청한다
원문 제목 — New to Local AI. Needs help on running ollama from AMD GPU
📄 전문 번역
로컬 AI 입문자가 Windows 11에서 Docker로 Ollama와 n8n을 배포해 AI를 구축하려 하며, Ollama가 시스템 RAM 대신 GPU VRAM을 사용하도록 만드는 방법을 질문했다.
초보자를 위한 팁이나 필요한 조정이 있는지도 함께 물었다.
시스템 사양은 CPU가 AMD Ryzen 9 5950X, RAM이 32GB DDR4, GPU가 AMD Radeon RX 9060 XT 16GB다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 실행 환경에 대한 입문자 질문 글이다. 댓글들의 공통 진단은 Windows의 Docker Desktop이 WSL2 기반으로 동작해 AMD GPU를 컨테이너로 패스스루하지 못하고, 그 결과 Docker 내 Ollama가 CPU와 시스템 RAM으로 폴백한다는 것이다. 제시된 해결책은 Ollama를 Windows에 네이티브로 설치하고 n8n은 Docker에 유지한 채 host.docker.internal로 연결하는 분리형 구성이다. Ryzen 9 5950X와 RX 9060 XT 16GB 조합은 사양이 충분하며, ollama ps로 GPU 오프로딩 여부를 확인하는 절차가 반복적으로 강조됐다.
— 루키 · glm-5.3-flash:cloud
문제는 Docker다. Windows의 Docker Desktop은 NVIDIA GPU만 컨테이너로 전달하므로 컨테이너 안의 Ollama는 CPU와 시스템 RAM으로 폴백한다. 가장 간단한 해결책은 Radeon 카드를 지원하는 Windows에 Ollama를 네이티브로 설치하고 n8n은 Docker에 유지하며, n8n의 Ollama 자격 증명을 localhost 대신 host.docker.internal:11434로 지정하는 것이다. n8n이 여전히 연결되지 않으면 OLLAMA_HOST 환경 변수를 0.0.0.0으로 설정하고 Ollama를 재시작하라. Ollama GPU 문서에서 사용 버전이 RX 9060 XT를 지원하는지 확인한 뒤 모델을 로드하고 ollama ps를 실행하면 모델이 GPU에 얼마나 배치됐는지 표시된다.
GPU를 Docker 컨테이너에 패스스루해야 하는데 Windows에서는 항상 간단하지 않다. Windows의 Docker Desktop은 기본적으로 WSL2 백엔드 안에서 실행되므로 사실상 VM 안의 리눅스이며, 여기서 AMD GPU 패스스루는 번거로울 수 있다. GPU를 동작시키는 것만 목적이라면 Docker를 아예 건너뛰는 편이 낫다. Windows에 Ollama를 직접 설치하면 9060 XT를 자동으로 인식하고, Windows 설치 프로그램은 매우 간단해 5분 안에 실행 상태가 된다.
이 해결책의 장점이 무엇인지 설명해 달라.
하드웨어는 충분히 좋지만 AMD GPU 지원이 이번 사례의 까다로운 부분이다. Windows에서 Ollama는 지원되는 AMD GPU를 네이티브로 사용할 수 있으므로 Docker GPU 패스스루와 씨름하기 전에 먼저 Windows에서 Ollama를 직접 실행해 ollama ps가 모델의 GPU 오프로딩을 표시하는지 확인하라. 그것이 동작하면 n8n을 Ollama에 연결하라. 이렇게 하면 문제가 GPU 호환성인지 Docker 네트워킹인지 분리해 파악할 수 있다.
시스템 RAM을 사용하는 이유는 하드웨어가 아니라 Docker 계층 때문이다. Windows의 Docker Desktop은 WSL2 VM에서 실행되며 AMD GPU를 컨테이너로 전달할 수 없어 Docker 안의 Ollama는 CPU 추론으로 폴백한다. 안정적으로 동작하는 구성은 분리형으로, Windows에 Ollama를 네이티브로 설치하고 모델을 한 번 실행한 뒤 ollama ps를 실행하면 PROCESSOR 열에 GPU(또는 대부분 GPU)가 표시되어야 한다. CPU로 표시되면 먼저 Adrenalin 드라이버와 Ollama를 업데이트하라. 이 확인으로 9060 XT가 인식되는지 여부를 알 수 있으며, n8n은 Docker에 유지하되 Ollama 기본 URL을 변경해야 한다.