필자는 ollama 업데이트 과정에서 어려움을 겪고 있다. 시스템에 nvidia와 amd GPU가 모두 장착되어 있다. 문제를 우회하기 위해 서로 다른 포트에서 ollama 인스턴스 두 개를 구동 중이다. AMD 7800XT는 ROCm을 사용하며, nvidia 4060ti는 CUDA 스택을 사용한다.

ollama 설치 스크립트는 nvidia-smi를 감지하면 중단되어 AMD ROCm 라이브러리를 내려받지 않는다. 필자는 이 문제를 이미 보고했고 버그 리포트도 작성해 두었다. 업데이트가 반복될 때마다 점점 번거로워질 뿐이다. 이와 같은 구성을 쓰는 다른 사용자에게도 같은 문제가 발생하는지 궁금하다.

하이브리드 구성을 갖추게 된 이유는 GPU 수급과 가격 때문이다. 7800XT를 먼저 구매했지만 그나마 합리적인 가격에 다른 한 장을 구하지 못했다. 4060ti는 가격이 합리적이었고 스팸 필터링용으로 상시 구동해야 하는 두 모델을 감당할 수 있다. 7800XT는 필요할 때 호출하는 모델을 돌리는 용도로 사용한다.