필자는 24GB 통합 메모리를 갖춘 M4 맥북 에어를 보유하고 있으며 이 머신에서 로컬 LLM 모델을 구동하려 한다. 현재 주로 QnA 시스템 형태의 RAG 애플리케이션을 개발 중이지만 이를 Agentic RAG로 업그레이드하고 싶어 한다.

온라인 LLM 제공업체(무료 티어)를 이용해 봤지만 대규모 쿼리에서 토큰 호출 한도에 도달했다. 이에 로컬 AI 모델로 전환할 생각을 하게 되었다.

크기가 약 14GB인 gpt-oss-20b 모델을 머신에 설치할 생각이다. 문제는 이 모델이 머신에서 원활하게 구동될지 아니면 극도로 느려질지이며, 모델이 백그라운드에서 실행되는 동안 다른 작업을 함께 수행할 예정이기 때문이다.

아니면 더 가벼운 모델을 선택해야 할지도 고민되지만 그럴 경우 생성 정확도가 떨어질까 우려된다. 아울러 지연 없이 머신에서 원활하게 구동되는 로컬 LLM을 추천받고 싶어 한다.