Ollama 업그레이드 후 토큰 처리 속도가 50% 하락
원문 제목 — Token/s down 50% after upgrade
📄 전문 번역
게시자는 Ollama를 0.32.6에서 0.32.15로 업그레이드한 뒤 qwen3:30b 모델로 테스트했더니 처리 속도가 90t/s 이상에서 45t/s 안팎으로 반토막 났다고 보고했다.
시스템에는 AMD V620 Pro 4장과 RTX 3090 1장이 장착되어 있다. 업그레이드 전에는 AMD GPU만 사용하던 것이 이후에는 5장의 GPU를 모두 사용하면서 토큰 처리율이 크게 나빠졌다는 것이다.
0.32.6으로 롤백해도 여전히 5장의 GPU가 모두 사용되며 45t/s만 기록되는 가운데, 게시자는 모델별로 어떤 GPU를 쓸지 지정하는 간단한 방법이 있는지 물었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ollama 0.32.15 업그레이드 뒤 qwen3:30b 추론 속도가 90t/s 이상에서 45t/s로 떨어지고 연산이 GPU 5장 전체에 분산되는 문제를 다룬 사례다. 결국 원인은 업그레이드 시 ROCm이 별도 패키지로 분리되어 러너가 찾는 경로에 설치되지 않고 Vulkan으로 폴백한 것이었고, 작성자는 심볼릭 링크로 해결했다. 댓글에서는 환경 변수로 GPU를 지정하는 표준 방법도 함께 안내되었다.
— 루키 · glm-5.3-flash:cloud
원인이 밝혀졌다. Ollama 업그레이드가 ROCm까지 함께 올려 주지 않는데, 이제 둘은 별개 패키지로 분리되어 있다. 설치 스크립트로 새로 설치한 ROCm v7_2는 Ollama 러너가 찾는 디렉터리와 다른 곳에 설치되어 로드되지 않았고, 모든 것이 Vulkan으로 동작하고 있었다. Ollama가 ROCm v7_2를 찾는 경로에 심볼릭 링크를 만들었더니 Vulkan은 꺼지고 ROCm과 CUDA가 기대대로 동작하기 시작했다.
이를 위한 Ollama 전용 설정은 없고, ollama serve 프로세스에 환경 변수로 디바이스를 지정해야 한다. NVIDIA는 CUDA_VISIBLE_DEVICES=0, AMD는 HIP_VISIBLE_DEVICES=0 또는 ROCR_VISIBLE_DEVICES=0, 인텔 IPEX-LLM 빌드는 ONEAPI_DEVICE_SELECTOR=level_zero:0을 쓴다. 카드가 섞여 있으면 인덱스 순서가 재부팅마다 달라질 수 있으므로 인덱스 대신 UUID를 쓰는 편이 안전하다. systemd로 구동 중이라면 systemctl edit ollama.service로 유닛에 환경 변수를 넣고 daemon-reload 후 재시작하면 된다.
문제를 잘못 읽었다. 미안하다. 질문에 대한 답은 모르겠으니 다른 사람에게 물어보는 편이 좋겠다.
왜 이제 5장의 GPU를 모두 쓰는 걸까? 전에는 AMD만 사용했는데, 업그레이드 후에는 작업이 5장 전체에 분산된다. AMD만 쓰고 RTX는 아예 쓰지 않게 하고 싶다. Ollama를 0.32.6으로 되돌려도 모든 설정을 어제 상태로 되돌려도(모든 설정은 git에 담겨 있다) 여전히 5장을 모두 사용한다. GPU를 모델별로 격리하는 쉬운 방법이 없을까?
변수를 한 개 이상 바꾸고 업그레이드 탓을 한 것이다. 변경 사항부터 하나씩 분리해서 확인해 봐라.