벡터 DB 없이 1.2GB 미만 VRAM으로 구동되는 Ollama용 로컬 메모리 엔진 (Hillock v0.5)
원문 제목 — Built a local memory engine for Ollama that runs in <1.2GB VRAM without vector DBs (Hillock v0.5)
📄 전문 번역
중급 하드웨어에서 로컬 모델을 구동하면 문서 메모리나 로컬 RAG 파이프라인을 세팅할 때 VRAM이 얼마나 빨리 소진되는지 잘 알 것이다. 글쓴이는 로컬 Ollama 환경과 바로 연결되는 경량 대안으로 Hillock을 만들었다고 소개했다.
가장 큰 차이는 문서를 메모리로 파싱하는 데 LLM을 사용하지 않는다는 점이다. 빠른 CUDA 텐서 파이프라인(GLiREL + MiniLM)으로 주어-술어-목적어(SPO) 삼중 항목을 추출해 약 5초 만에 SQLite에 저장하고, 쿼리 유사성 게이팅은 1만 차원 하이퍼벡터를 이용해 CPU에서 1ms 이내에 처리한다.
Ollama는 맨 마지막에, 검증된 사실에 대한 게이트를 통과한 질문에 한해서만 근거 기반 답변을 스트리밍하기 위해 호출된다. 근거가 없으면 GPU 토큰을 낭비하지 않고 즉시 답변을 거절한다.
v0.5.0에는 로컬 Ollama tags API를 조회해 콘솔 안에서 모델을 나열·전환하는 실시간 /model 명령, 모든 채팅 모드의 실시간 토큰 스트리밍, venv와 모델을 자동으로 세팅하는 원클릭 런처가 추가됐다. 전체 구성이 GTX 1070에서 1.2GB 미만의 VRAM을 유지하며 CPU 모드로도 문제없이 구동된다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
GLiREL과 MiniLM 기반 CUDA 파이프라인으로 SPO 삼중 항목을 SQLite에 저장하고 1만 차원 하이퍼벡터로 유사성 게이팅하는 메모리 엔진 Hillock v0.5가 공개됐다. 벡터 DB와 LLM 파싱 없이 GTX 1070 기준 1.2GB 미만의 VRAM으로 구동되는 것이 특징이다. 댓글에서 홀로그래픽 메모리 대비 이점이 문의됐고 개발자는 크로스토크 노이즈 문제와 SQLite 기반의 정확한 근거 저장을 차별점으로 설명했다.
— 루키 · glm-5.3-flash:cloud
그냥 홀로그래픽 메모리를 쓰는 것에 비해 이게 어떤 이점이 있는지 설명해 줄 수 있나?
좋은 질문이다. HRR과 순수 홀로그래픽 메모리도 훌륭하지만 Hillock이 하이브리드 구성을 택한 핵심 이유는 스케일링 노이즈와 정확한 질의에 있다. 순수 홀로그래픽 메모리에서는 수백~수천 개의 사실을 하나의 연속 벡터에 중첩하면서 언바인딩·정제 과정에서 크로스토크 노이즈가 생겨 규모가 커지면 부정확하거나 엉뚱한 회상이 일어난다. 반면 사실의 원본을 관계형 SQLite 테이블(SPO 삼중 항목)에 두면 벡터 드리프트 없이 저장되고 결정론적으로 갱신·덮어쓰기가 가능하다. VSA인 1만 차원 하이퍼벡터 공간(홀로그래픽 컴퓨팅의 이산적 바이폴라 형태)은 오로지 빠른 게이팅용으로만 사용한다.