ollama ps는 한 줄로 문제를 정리해 주는 명령이지만, 양자화를 바꾸기 전에 실행하는 사람은 거의 없다. PROCESSOR 열은 정확히 세 가지 중 하나를 표시한다. 100% GPU는 모든 레이어가 GPU에 올라간 상태, 100% CPU는 GPU가 전혀 쓰이지 않는 상태, 48%/52% CPU/GPU 같은 표기는 부분 오프로드 상태다. 100% GPU가 아니라면 거기서 멈춰라. 그것이 답이며 문제는 모델이 아니다. GPU 90%에 배치된 모델이 90% 속도로 도는 것은 아닌데, 모든 토큰이 느린 레이어를 기다리기 때문이다. 레이어 하나가 넘치는 것이 양자화를 한 단계 낮추는 것보다 처리량에 더 큰 손실을 준다.

사람들이 놓치는 부분은 이 세 가지가 모두 누군가 선택한 것이 아니라 기본값이라는 점이다. 첫째, 생각하는 컨텍스트는 4096이다. Ollama의 기본 컨텍스트 창은 모델 카드가 내세우는 값과 무관하게 4096 토큰이다. OLLAMA_CONTEXT_LENGTH나 /set parameter num_ctx를 설정하지 않으면 128k 모델도 4096을 받는다. 프롬프트가 실제 창을 초과하면 앞부분이 잘리는데, 앞부분은 바로 시스템 프롬프트가 놓인 자리다. 모델이 지시를 무시한 것이 아니라 긴 입력에서 멍해진 것도 아니며, 지시문은 애초에 창 안에 없었다.

둘째, 병렬 요청이 그 숫자를 배수로 늘린다. 필요한 메모리는 OLLAMA_NUM_PARALLEL 곱하기 OLLAMA_CONTEXT_LENGTH에 따라 커진다. 문서 자체의 예시에서 2K 컨텍스트에 병렬 요청 4개는 8K 컨텍스트가 되며 할당도 그에 맞춰진다. 따라서 병렬도가 1보다 큰 상태에서 num_ctx를 4배 올리면 비용은 4배가 아니라 4배 곱하기 병렬 수이고, 보통 이 단계가 '들어감'에서 '넘침'으로 바뀌는 지점이다.

셋째, 모델 세 개를 동시에 붙잡고 있을 수도 있다. OLLAMA_MAX_LOADED_MODELS는 GPU 수의 3배(CPU 추론이면 3)가 기본이며, 각 모델은 마지막 사용 후 5분간 상주한다. 아침에는 됐는데 오후에는 넘친다는 질문의 답이 이것으로, 한 시간 전에 시도했던 것이 아직 VRAM에 남아 있는 것이다. ollama stop 명령은 즉시 내보낸다.

실제로 통하는 해결 순서는 싼 것부터다. 먼저 ollama ps로 정말 넘치는지 확인한다. 다음으로 쓰지 않는 모델을 ollama stop으로 내보내고, 하드웨어 가속이 켜진 브라우저라는 잦은 범인을 포함해 VRAM을 잡아먹는 다른 프로세스가 없는지 점검한다. 이어서 컨텍스트를 실제 필요한 만큼만 낮춘다. 대부분의 로컬 채팅은 설정된 만큼을 필요로 하지 않는다. 그다음 KV 캐시를 양자화한다. Flash Attention 활성화가 필요하지만 OLLAMA_KV_CACHE_TYPE=q8_0은 f16 기본값의 절반가량 메모리로 품질 손실이 매우 적고, q4_0은 4분의 1가량에 손실은 더 눈에 띈다. 그런 뒤에야 모델 양자화를 낮춘다. 대부분은 이 목록을 거꾸로 실행해 진짜 모델 품질을 먼저 포기하고도 계속 넘치는데, 정작 카드를 잡아먹던 것을 건드리지 않았기 때문이다. 위의 모든 수치는 Ollama 공식 FAQ에서 다시 확인한 것으로, 기본값은 과거에도 바뀌었고 앞으로도 바뀔 것이므로 이 글보다 자신의 설정을 확인하라.