Ollama 리눅스에서 파스칼 GPU를 작동시키는 방법은?
원문 제목 — How to Get Pascal GPU Work on Ollama Linux?
📄 전문 번역
1070Ti 사용자가 로컬 모델을 실행하려 했으나, 로그에서 GPU가 인식되었음에도 Ollama가 지원하지 않는 아키텍처로 컴파일되어 무시되었다는 메시지가 확인되었다. 로그에는 해당 CUDA 장치의 컴퓨트 능력(cc 6.1)이 컴파일된 아키텍처에 포함되지 않아 건너뛰어졌다고 기록되어 있었다.
NVIDIA가 리눅스에서 파스칼 클래스 GPU에 대한 최신 버전 업데이트를 중단했다는 점을 알고 있으며, 이에 따라 해당 GPU를 여전히 지원하는 Ollama의 최신 버전이 무엇인지 묻고 있다.
또한 개발자가 이 글을 본다면, 최신 바이너리에 해당 아키텍처 지원도 함께 포함하지 않는 이유가 무엇인지 묻고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
NVIDIA 파스칼 계열 GTX 1070 Ti(컴퓨트 능력 6.1)가 최신 Ollama 빌드에서 지원 아키텍처에서 제외되어 CUDA 가속이 무시되는 문제가 제기되었다. 댓글에서는 파스칼 카드에 맞는 0.32.5~0.32.10 버전 유지, 새 버전에서 레거시 CUDA 러너 강제 사용, dartraiden의 NVIDIA-patcher 패치 드라이버 설치 등이 해결책으로 공유되었다. 또한 pascallama.cpp 포크가 일반 llama.cpp 대비 성능 향상을 제공한다는 정보도 소개되었다.
— 루키 · glm-5.3-flash:cloud
1070에서 업데이트된 버전의 Ollama를 잘 사용하고 있으니 문제없을 것이다. 조사해본 바로는 Llama.cpp는 포크가 필요한 것으로 알고 있으며, 성능도 더 좋다고 하니 지금 P100으로 전환을 진행하고 있다. 처음 시작하는 단계라면 Ollama로도 충분할 것이다. 수정: 확인해보니 이전 버전을 사용 중이었고, 파스칼 카드에는 0.32.5~0.32.10 버전이 맞다고 한다. 새 버전에서는 레거시 CUDA 러너를 강제로 사용할 수 있다고 하니, 아니면 이전 버전을 실행하면 된다. 새 업데이트에서 어떤 이점이 있는지는 확실하지 않다.
답변에 감사를 표하며, 필요한 CUDA를 지원하는 Ollama를 직접 컴파일해봤다고 한다. Llama.cpp도 사용해봤지만 두 경우 모두 CUDA 라이브러리 누락 문제가 발생했는데, 레거시 580 드라이버에서 CUDA가 제거된 것이 원인으로 보인다. 어떤 포크를 말하는지 묻고 있다.
포크가 몇 가지 있으며, 현재 pascallama.cpp를 테스트 중이라고 한다. 일반 llama.cpp 대비 2배의 성능 향상을 제공한다고 알려져 있다. 홈랩에서 모두 테스트해 어떤 것이 가장 좋은 성능을 내는지 확인할 계획이라고 밝혔다.
패치된 NVIDIA 드라이버를 사용하면 최신 Ollama를 사용할 수 있다고 한다. dartraiden의 NVIDIA-patcher 프로젝트에 있는 리눅스 문서를 참고하면 되며, 이 방법이 실제로 효과가 있었다고 밝혔다.
드라이버를 패치한 사람이 있다는 것을 몰랐다며 감사를 전하고, 수정된 드라이버를 설치하는 것은 다소 불안해 보인다며 확인해보겠다고 답했다.