Ollama가 50GB 이상 VRAM을 활용하지 못한다
원문 제목 — Ollama not utilizing more than 50GB VRAM
📄 전문 번역
AMD Ryzen AI MAX 395 128GB 통합 RAM과 AMD Radeon 8060을 탑재한 Windows 11 노트북 사용자가 Ollama가 50GB 이상의 VRAM을 활용하지 못하는 문제를 보고했다. 사용자는 현재 96GB를 VRAM으로 할당했으며 이 설정이 올바르게 적용됐음을 확인했다고 밝혔다.
그러나 Mistral Medium 3.5 128b q4 모델 실행을 시도하자 메모리 부족 오류가 발생했다. Ollama 로그를 확인한 결과 해당 모델이 약 80GB의 VRAM을 요청했으나, 로그에는 50GB만 오프로딩하고 나머지 VRAM을 활용하는 대신 추가 리소스를 찾으려 시도한 것으로 나타났다.
작업 관리자 역시 96GB 중 50GB만 사용 중인 것으로 표시됐다. 사용자는 Windows 쪽 문제일 가능성에 대비해 전체 128GB를 RAM으로 설정해 봤지만 동일한 문제가 재현됐다.
사용자는 포럼을 찾아봤지만 대부분 Linux 기반 서버를 다루는 글뿐이었다며 Windows 환경에서의 해결책에 대한 도움을 요청했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
AMD Ryzen AI MAX 395 탑재 노트북에서 96GB VRAM을 할당했음에도 Ollama가 Mistral Medium 3.5 128b q4 모델 실행 시 50GB만 오프로딩하는 문제가 제기됐다. 로그상 모델의 VRAM 요청량은 약 80GB로 할당량 범위 내였지만 나머지 메모리는 활용되지 않았고, 128GB 전체를 RAM으로 설정해도 결과는 같았다. 댓글에서는 Windows 통합 메모리 관리의 한계를 지적하며 llama.cpp, LM Studio, vLLM 등 래퍼 없는 대안 사용과 Linux 전환을 제안했다.
— 루키 · glm-5.3-flash:cloud
이렇게 큰 숫자를 다루려면 Linux여야 한다. Windows는 어차피 Windows다. Linux로 갈 필요 없이 먼저 llama.cpp를 시도해 보라. gguf 파일은 ollama 디렉터리에서 찾을 수 있다.
아니면 LM Studio나 vLLM을 써도 된다.
엄청난 노트북 사양이다. 통합 메모리 구성에서 Windows 메모리 관리는 운에 달렸는데, 특히 이렇게 한계에 근접해 밀어붙일 때는 더욱 그렇다. 그래도 llama.cpp 방식에 한 표한다. hipBLAS로 컴파일하면 Ollama의 Windows 래퍼보다 메모리 할당을 훨씬 깔끔하게 처리할 것이다.
래퍼를 버리고 이제부터는 진짜 원본을 써야 하기 때문이다. 최신 llama.cpp 빌드를 설치하라. 사용법은 쉬우니 아무 AI에게나 물어보면 되고, Windows도 괜찮다. llama-server를 쓰면 브라우저에서 Ollama 앱과 똑같이 사용할 수 있다.
Windows에서 얻을 수 있는 VRAM의 최대치는 96GB다. Linux를 쓰면 그 대부분을 활용할 수 있다. AMD 개발자 플레이북 문서를 살펴보고 마음에 드는 것을 골라 읽어 보라. 최악이 어때, Linux를 다시 설치하게 되는 정도잖은가.