맥북의 32GB 메모리로는 은행 거래 명세서를 어느 정도 신뢰할 만한 수준으로 분석하려 할 경우 금방 한계에 부딪히게 된다. PDF 명세서는 지저분할 수 있고, 소형 모델은 숫자와 카테고리를 끊임없이 환각한다. 먼저 Tesseract OCR 같은 도구로 명세서를 텍스트로 변환한 뒤, 로컬에서 실제 구동 가능한 모델에 청크 단위로 입력해야 한다. 지출 추적용으로 유사한 구성을 시도해 봤는데 7B 파라미터 모델은 존재하지 않는 거래를 지어내지 않고서는 여러 달치 명세서를 처리하지 못했다. Mistral 기반 모델은 조금 나았다.

우선 이 내용을 공유하기 위해 시간을 내준 것에 감사한다. 정말 도움이 된다. 로컬 모델에 입문한 이유는 순전히 AI 실력 향상을 위해서다. 테크 기업에서 솔루션 컨설턴트로 일하고 있는데, 로컬 모델을 실험해 보면 기초부터 다소 고급에 이르는 개념을 이해하는 데 큰 도움이 될 것이라 생각했다.

또한 초기 명세서 업로드 부분을 자동화할 방법이 있을까. 이름과 계좌번호를 가리고 지출 항목만 폴더에 업로드할 생각이었는데, 이 작업은 매달 수동으로 이뤄져야 한다. 폴더에 명세서가 나타날 때마다 에이전트가 즉시 작업을 시작하도록 자동화할 수 있을까.

첫 프로젝트로 좋은 선택이며 32GB 맥북이면 충분하다. 골치 아픔을 줄여줄 팁 하나는 LLM에게 계산을 시키지 말라는 것이다. 모델은 거래 분류('이것은 식료품, 이것은 구독료')에는 뛰어나지만 합계 산출에는 신뢰성이 떨어진다. 효과가 있었던 방법은 다음과 같다. 은행이 허용한다면 명세서를 CSV로 내보내라. PDF는 파싱하기 훨씬 지저분하다. 작은 스크립트(Python으로 직접 작성하거나 모델에게 작성을 맡긴 것)로 행을 불러오고, Ollama의 중형 모델에 거래 내역을 배치로 보내 각 줄의 카테고리를 요청하라. 합계와 전월 대비 비교는 스크립트에 맡기라.

32GB 맥북 프로에서는 macOS가 기본적으로 GPU에 메모리의 약 3분의 2를 쓰도록 허용하므로, 모델과 컨텍스트를 합쳐 20GB를 조금 넘는 분량으로 계획하라. Q4 양자화된 7B~14B instruct 모델은 쾌적하게 구동되며, 컨텍스트를 적당히 유지하면 Q4의 30B급 모델도 들어간다. 은행 명세서는 은행이 제공한다면 CSV로 내보내라. PDF 명세서는 파싱이 자주 잘못되어 분석보다 추출 수정에 더 많은 시간을 쓰게 된다. 모델에게 각 거래의 카테고리를 지정하게 하고, 합계와 과다 지출 비교는 스프레드시트나 짧은 스크립트로 처리하라.