CPU & RAM 로컬 LLM
원문 제목 — CPU & RAM Local LLM
📄 전문 번역
이에 대한 여러분의 생각을 듣고 싶고 질문도 하나둘 있다. 필자는 요즘 사실상 홈 서버 역할을 하는 2019년형 iMac을 보유하고 있다. NAS 외에도 Automator를 통해 수많은 예약 스크립트와 폴더 감시 스크립트를 실행하지만, 최근에는 Python 스크립트에서 호출하는 로컬 LLM 실험을 시작했다.
RX9070을 장착한 메인 데스크톱에서도 로컬 LLM을 다뤄봤지만 테스트 외에는 별다른 성과를 내지 못했다. iMac에는 i5-8500과 96GB RAM이 장착되어 있으며, VRAM이 4GB뿐이라 GPU를 로컬 LLM에 사용하지 않는데 이는 문제되지 않는다.
qwen3.5:35b-a3b-q8을 설치한 뒤 OCR을 사용하던 일부 스크립트를 개선해, OCR 이후 로컬 LLM을 거치도록 하여 손글씨 스캔 문서의 정확도를 높이고 있다. 처리 속도가 느림에도 불구하고 야간 문서 처리에는 매우 인상적이었지만 이제 다른 활용법도 찾고 싶다. 빠른 GPU LLM 대신 크고 느린 LLM을 여러분은 무엇에 사용하는가?
또한 Ollama를 통해 iMac이 GPU 작업을 하도록 만든 사람이 있는가? 필자는 여전히 필요할 때 에이전트 작업에는 openAI를 사용하지만, iMac을 이렇게 활용하게 된 지금은 사용량을 낮춰 유지하고 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
2019년형 iMac(i5-8500, 96GB RAM)에서 GPU 없이 CPU만으로 MoE 모델 qwen3.5:35b-a3b-q8을 구동해 야간 문서 처리에 활용하는 사례다. 속도보다 배치 처리에 적합한 CPU 추론의 실용성이 부각되며, 댓글에서는 ollama ps를 통한 실행 위치 확인, 비전 모델을 활용한 OCR 단계 생략, 구조화된 JSON 출력 활용 등의 후속 아이디어가 제안됐다. MoE 구조상 토큰당 약 3B 파라미터만 활성화되어 i5에서도 운용 가능하다는 점이 논의됐다.
— 루키 · glm-5.3-flash:cloud
모델을 로드한 후 ollama ps를 실행하면 Processor 열에서 GPU와 CPU 중 어느 쪽에서 실행되는지 확인할 수 있다.
96GB RAM에서 qwen3.5를 돌리는 건 재미있는 구성이다. 그 i5에서 손글씨 문서 처리 시 초당 몇 토큰이 나오는지 궁금하다. OCR 결과를 LLM에 넣는 파이프라인은 영리한데, 비전 기능이 있는 모델로 이미지 청크를 바로 입력해 본 적이 있는가? 한 단계를 건너뛸 수 있을 수도 있다. 필자는 느린 CPU 전용 장비로 대용량 PDF를 야간에 요약하는데, 큐에 넣어두고 자리를 비울 수 있는 작업이라 잠자는 동안에는 속도가 거의 문제되지 않는다.
어떤 모델을 사용했는지 기억나지 않는데 MoE가 아닌 더 큰 dense 모델이었을 수도 있지만, 토큰 생성 속도는 초당 약 1개였다.
야간 배치 작업야말로 CPU 전용이 빛을 발하는 상황이며, 아무도 초당 토큰 속도를 기다리지 않는다. 그리고 A3B MoE는 그 장비에 딱 맞는 선택으로, 토큰당 약 3B 파라미터만 활성화되므로 i5가 전체 35B를 연산하지 않는다. 다음으로 시도할 것은 구조화된 JSON(Ollama의 format 옵션)을 반환하게 하는 것으로, 스크립트가 OCR 텍스트 정리만이 아니라 문서 이름 변경과 분류까지 하도록 만드는 것이다.
그렇다, 대체로 그렇게 하고 있다. 모든 파일 이름을 자동으로 바꾸지만 폴더와 파일을 올바른 위치에 옮기는 것은 여전히 수동으로 하고 있다.