Ollama 첫걸음, 확신이 서지 않는다
원문 제목 — First steps in Ollama, not sure
📄 전문 번역
Ollama 경험을 더 발전시킬 방법에 대한 조언을 구한다. 익히 알려진 프론티어 모델에서 벗어나 보려고, 64GB RAM을 갖춘 Mac Studio M2 Max용 Ollama에 qwen3.8:27b를 다운로드했고, 기본 Ollama 채팅 인터페이스와 텔레그램으로 사용하고 있다.
문제는 모든 프롬프트에 답을 받는 데 시간이 너무 오래 걸린다는 것이고, 최근에는 텔레그램에서는 아마 타임아웃 때문인지 답이 아예 오지 않는다. 보통 2분 이상 아주 오래 생각한 뒤에야 답하기 시작하는데, 답 자체도 매우 길고 간결하지 않다. 컨텍스트 창을 조정해 봤지만 소용이 없었다.
반면 llama:3.2:7b를 사용하면 나쁘지 않은 속도로 답이 나온다. RAM 사용률은 40%로 적당하고 GPU 사용률은 100%라 병목은 없어 보인다.
게다가 작은 파이썬 코딩 프로젝트도 실패했는데, 모델이 버그 수정에 애썼지만 헛수고였고 루프에 빠져 수정했다고 말했지만 실제로는 수정되지 않았다.
이런 조건에서 로컬 LLM을 성공적으로 쓰는 사람이 있다고 상상할 수 없으니 내가 뭔가 크게 잘못하고 있는 것이 분명하다. 누구든 올바른 방향을 알려줄 수 있을까? 감사한다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Mac Studio M2 Max 64GB 환경에서 Ollama로 qwen3.8:27b를 구동한 입문자가 응답 지연과 장황한 출력, 파이썬 코딩 실패를 호소하며 조언을 구한 사례다. 최상위 댓글은 파라미터 수가 연산 시간에 비선형적으로 작용하고 M2 Max의 메모리 대역폭이 약 13B 이상 모델에서 병목이 된다고 진단하며, 문제는 메모리 용량이 아니라 GPU 코어와 유니파이드 메모리 간 대역폭이라고 지적했다. 다른 댓글들은 qwen3.6 35b-a3b 시도와 추론 기능 조정, Ollama 대체 도구 사용을 제안했다.
— 루키 · glm-5.3-flash:cloud
27B는 64GB가 있어도 실시간 채팅에는 너무 크다. 파라미터 수는 연산 시간에 비선형적으로 작용하고, 1분 미만 응답을 원한다면 M2 Max의 메모리 대역폭으로는 약 13B 이상은 감당하기 어렵다. 7B가 빠른 건 정확히 예상대로다. 비슷한 구성에서 mistral-small 22b를 돌려봤는데 마찬가지로 실제 생성이 시작되기도 전에 프롬프트 처리에 시간이 무한정 걸린다. 메모리 용량이 병목이 아니라 GPU 코어와 유니파이드 메모리 사이 대역폭이 문제다. Ollama는 그저 무식하게 밀어붙일 뿐이다.
qwen3.6 35b-a3b를 써보라. 그 모델이면 더 나은 결과를 얻을 수 있을 것이다. 그 모델이 기본적으로 추론을 켜고 나오는지 기억나지 않는데, 일반 채팅용이라면 끄거나 낮춰라.
Ollama와 그 Go 템플릿은 형편없다. 다른 것을 쓰라.