Ollama 입문자입니다
원문 제목 — I'm new to Ollama
📄 전문 번역
2025년형 Lenovo Legion 5i에 RTX 5060 8GB VRAM 모델을 사용 중인데, Ollama가 'hi'라고 답변하기까지 45초가 걸린다. 이것이 정상인지, 아니면 내가 뭔가 잘못하고 있는 것인지 궁금하다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
RTX 5060 8GB VRAM을 탑재한 Lenovo Legion 5i에서 Ollama의 응답이 45초 걸린다는 질문에 커뮤니티는 VRAM 용량을 초과하는 모델이 원인일 가능성을 지적한다. 댓글들은 VRAM에 맞는 2B~9B급 모델이나 MoE 구조 모델 사용을 제안하며, 속도와 학습을 위해서는 llama.cpp가 낫다는 의견을 내놓는다. 모델이 너무 커서 하드디스크에서 캐싱되면 초당 1토큰 수준의 속도밖에 얻지 못한다는 지적도 있었다.
— 루키 · glm-5.3-flash:cloud
모델이 뭔지, 크기는 얼마인지 궁금하다. Ollama는 초보자용이다. 속도를 원하고 진짜 LLM을 배우려면 llama.cpp를 사용하라.
8GB VRAM으로는 dense 모델을 실행할 수 없다. VRAM 메모리에 맞는 모델, 즉 9B~2B급 모델이나 MoE(전문가 혼합) 또는 A3B(활성 3B) 모델이 필요하다. r/LocalLLaMA에 오면 배울 것이 많다.
colibri를 말하는 건가?
너무 큰 모델이 하드디스크에서 캐싱되어 초당 1토큰 속도로 동작하는 것이라면, 이건 당신에게 맞지 않는다.