CPU 전용 노트북에서 일상 질문에 쓸 소형 무검열 모델은?
원문 제목 — Small uncensored model for everyday questions on a CPU-only laptop?
📄 전문 번역
여러분, Ollama로 로컬에서 구동할 소형 무검열 모델을 찾고 있다. 거창한 것은 필요 없고, 매번 답변을 거부하거나 잔소리를 늘어놓지 않으면서 일상적인 질문에 답해주는 모델이면 충분하다. 간단한 설명, 문구 표현 도움, 'X는 대체 어떻게 된 것인가' 같은 일반적인 질문에 쓸 예정이며, 코딩에서 완벽할 필요는 없다.
제 환경은 Lenovo ThinkPad L14 Gen 3에 Ryzen 5 PRO 5675U, 32GB RAM이며 전용 GPU가 없어 모든 연산이 CPU에서 이뤄진다. 다소 느려도 괜찮지만, 답변 하나에 1분씩 걸리지 않고 사용 가능한 수준은 유지돼야 한다.
이런 조건에서 어떤 모델을 추천하는지 궁금하다. RAM을 고려하면 7-8B급을 선택할 가치가 있을까, 아니면 가벼운 용도라면 3-4B 모델로도 충분할까. 또한 abliterated 모델과 제대로 된 무검열 파인튜닝 중 어느 쪽을 선호하는지, 어떤 양자화를 선택할지도 묻고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
CPU 전용 노트북에서 Ollama로 구동할 소형 무검열 모델을 추천받으려는 질문 글이다. 작성자는 Ryzen 5 PRO 5675U와 32GB RAM을 탑재한 Lenovo ThinkPad L14 Gen 3를 사용하며 7-8B급과 3-4B급 모델의 적합성, abliterated 방식과 무검열 파인튜닝의 우열, 양자화 선택을 물었다. 댓글에서는 Gemma 4 E4B, SmollM2 Abliterated, LFM 시리즈 등이 후보로 제시됐고, 32GB RAM이면 7B q4 구동이 가능하다는 의견과 통합 Radeon 가속 활용 팁이 소개됐다.
— 루키 · glm-5.3-flash:cloud
Gemma 4 E4B uncensored를 선호한다. 거의 모든 작업에서 꽤 빠르고 대체로 헛소리를 하지 않는 편이다.
32GB RAM이면 7B 모델을 q4로 문제없이 구동할 수 있고 컨텍스트 여유도 남는다. 토큰 생성 대기가 정말 싫은 게 아니라면 3-4B는 건너뛰는 게 좋다. 일반 지식 면에서 확실히 더 둔감하게 느껴진다. 무검열용으로는 abliterated 처리된 llama3나 mistral 변형을 가져오라. 제대로 된 파인튜닝은 들쑥날쑥한 반면 abliterated는 적당한 양자화로 찾기 더 쉽다.
SmollM2 Abliterated를 추천한다. 에이전틱 스타일로도 활용할 수 있다.
Hugging Face에 공개된 insraq의 LFM2.5-2.6B-heretic-GGUF 모델 링크를 공유한다.
CPU에는 LFM 시리즈가 어울린다. 같은 사양의 노트북을 쓰는데 통합 Radeon이 공유 메모리를 VRAM처럼 활용해 가속할 수 있다. byteshape로 Qwen 3.6 35b 양자화 모델을 구동해 초당 25토큰을 얻고 있으며, GPU 할당 메모리를 늘려야 한다. 관심 있으면 쪽지를 보내달라.