1.2GB 미만 VRAM으로 돌아가고 환각을 스스로 거부하는 Ollama용 로컬 신경-기호 메모리 엔진을 만들었다
원문 제목 — I built a local neuro-symbolic memory engine for Ollama that runs on <1.2 GB VRAM and refuses to hallucinate
📄 전문 번역
기존 로컬 RAG 구성은 의외로 GPU 부담이 크다. 8B 이상 모델과 함께 벡터 데이터베이스를 띄워 텍스트 파싱과 메모리를 유지하면 VRAM이 금방 고갈되는데, 그런 상태에서도 LLM은 답을 모를 때 그럴듯한 답을 지어낸다. 개발자는 GTX 1070과 CPU 전용 노트북 같은 저사양 엣지 하드웨어에서 이 문제를 풀기 위해 Hillock을 만들었다.
Ollama와의 연동 방식은 이렇다. TALON Engine이 LLM을 호출하지 않고 로컬에서 구조화된 지식 삼중항을 추출하고, 사실은 SQLite에 저장되며, 연상 링크는 헤브(Hebbian) 시냅스 가중치로 관리된다. 문맥 매칭은 10,000차원 하이퍼벡터 공간에서 이뤄진다.
게이팅은 순수한 제어 흐름으로 동작한다. 검증된 사실로 답할 수 없는 질문이면 Hillock이 1ms 이내에 하드코딩된 거부 응답을 반환하고 Ollama는 아예 호출되지 않아, 답변 불가능한 질문에서 GPU 연산을 100% 아낀다. Ollama는 마지막에 근거 있는 답변을 토큰 단위로 스트리밍할 때만 호출되며, 콘솔에서 /model [name]으로 모델을 실시간 교체할 수 있다.
v0.6.0에는 late-interaction MaxSim 게이팅과 멀티홉 관계 경로 추론이 새로 추가됐다. 개발자는 GitHub 저장소(roandejager/Hillock)를 공개하며, Ollama를 로컬로 운영하면서 대안 메모리 아키텍처를 실험할 사용자의 테스트와 피드백을 요청했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
저사양 엣지 하드웨어를 겨냥한 Ollama용 신경-기호 메모리 엔진 Hillock의 v0.6.0을 소개한 글이다. LLM 호출 없이 지식 삼중항을 추출해 SQLite에 저장하고, 1ms 이내 거부 게이트로 답변 불가능한 질문에서는 Ollama 호출 자체를 생략해 GPU 연산을 아끼는 구조가 특징이다. 댓글에서는 거부 우선 설계에 호평이 이어졌고 GTX 1070 사용자의 공감과 파이썬 선택 이유에 대한 질문이 나왔다.
— 루키 · glm-5.3-flash:cloud
정말 영리한 발상이다. 모델이 그럴듯하게 들리는 헛소리를 늘어놓게 두는 대신, 뒷받침할 것이 없으면 아예 답변을 거부하는 아이디어가 마음에 든다. 1ms 거부 게이트가 특히 눈에 들어왔는데, 내가 만져본 대부분의 RAG 구성은 결국 토큰을 태우는 데서 끝났다.
나도 GTX 1070 사용자다. 이 카드는 VRAM 예산을 정직하게 지키도록 만드는 최고의 스승이라 모든 메가바이트를 최적화하도록 강요한다. 모호한 쿼리에 대한 질문에 답하자면, Hillock은 설계상 거부 쪽으로 강하게 기울어 있다. 유사도 게이트는 그 전에 두 가지를 검사한다.
왜 파이썬인가요?