필자는 수십 개 소규모 사업체의 회계 업무를 맡고 있으며, 10월 15일 연장 신청 마감 직후의 주말은 약 한 달 만에 처음으로 고객 파일을 열지 않은 주말이었다. 자신의 자료에 대해서는 프라이버시를 크게 신경 쓰지 않지만, 고객의 은행 거래 내역은 클라우드 모델과는 절대 접촉해서는 안 되기 때문에 지난 4월 세금 시즌이 끝나자마자 128GB Mac Studio를 구입했다. 당시에는 128GB가 과한 사양이라고 생각했던 기억이 난다.

모든 것을 Ollama로 실행하기 때문에 먼저 Ollama를 확인했고, 거기에는 glm-5.3:cloud라는 태그 하나만 있어 원하던 것이 아니었다. 그래서 Hugging Face에서 가장 작은 GGUF인 217GB 크기의 1비트 버전을 찾아 밤새 다운로드했고, 이 파일이 드라이브에 남아 있던 공간 대부분을 차지했다. 다음 날 아침 llama.cpp로 해당 파일을 로드하려 했으나 GPU 레이어를 끄기 전까지는 불러오지 못했다. 이후에는 모델을 SSD에서 계속 읽어오는 방식으로 동작했기 때문에 IRS(미국 국세청)의 한 페이지짜리 편지 요약을 요청한 뒤 계란을 부치러 나갔고, 돌아와서도 작업이 진행 중이어서 결국 점심 무렵에 종료했다.

대신 거래 내역 처리에는 더 작은 모델을 올려두고 잠들기 전에 실행한다. 성능은 몇 년 전의 클라우드 모델과 비슷하게 느껴지며 거래 분류용으로는 충분하다. PDF를 분할해 각 줄을 로컬 모델에 넘기는 스크립트 작업에는 클라우드 모델을 사용하는데, 이 모델은 2년간 계속 수정해 온 필자의 PDF 분할기를 다시 작성해 첫 시도에 바로 작동했고 이것이 다소 짜증스러웠다.

Ollama가 미국과 유럽에서 해당 모델을 호스팅한다는 점은 먼저 확인했지만, 그 모델은 여전히 필자의 책상 위에 있지 않으며 이것이 바로 맥을 구입한 이유였다. 지금까지 두 번이나 거래 내역의 실제 문장을 복사해 형식을 보여 주려다 스스로를 멈춘 적이 있는데 두 번 모두 밤 11시경이었다. 그 GGUF 파일은 아직 드라이브에 남아 있으며, 삭제해야 한다는 생각만 하고 있다.