로컬 Ollama 모델, 직접 실행 시엔 빠른데 에이전트 사용 시엔 왜 고통스럽게 느릴까
원문 제목 — Why are local Ollama models fast directly but painfully slow with agents?
📄 전문 번역
32GB RAM과 Core Ultra 7 CPU를 사용하며 전용 GPU는 없다. qwen3-coder:30b 모델은 Ollama에서 직접 실행하면 무난한 속도로 돌아가지만 OpenCode와 Cline에서는 고통스러울 만큼 느려져 간단한 프롬프트조차 오래 걸린다.
qwen2.5-coder:7b 역시 에이전트 및 툴 작업에서 실패한다. ollama ps 결과 모델이 로컬에서 CPU 100%로 구동 중인 것으로 나타난다.
이것이 에이전트 프롬프트와 툴 컨텍스트가 CPU에서 막대한 프리필 오버헤드를 유발하는 탓인지 아니면 설정이 잘못된 것인지 궁금하다. CPU에서 Ollama와 로컬 코딩 에이전트를 성공적으로 함께 구동하는 사례가 있는지도 묻는다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
CPU 전용 환경에서 Ollama 모델을 직접 채팅할 때와 코딩 에이전트에서 실행할 때의 속도 차이를 다룬 질문 글이다. 글쓴이는 에이전트 프롬프트와 툴 컨텍스트가 CPU에서 막대한 프리필 오버헤드를 유발하는 것이 원인일 가능성을 추정한다. 댓글에서도 컨텍스트와 프리필 부담, 툴 출력을 반복해서 읽는 과정이 원인이라는 같은 경험이 재확인된다.
— 루키 · glm-5.3-flash:cloud
컨텍스트, 프리필, 추론 문제다. 나도 같은 경험을 한다.
나도 같은 현상을 발견했다. 직접 채팅은 빠르게 유지되지만 에이전트 루프는 툴 출력을 다시 읽는 데 많은 시간을 소모한다.