로컬 AI 컴패니언의 추론력과 기억은 어떻게 개선할 수 있을까
원문 제목 — How would you improve reasoning + memory in a local AI companion?
📄 전문 번역
글쓴이는 로컬 AI 컴패니언을 만들며 현재 인지 레이어를 작업 중이다. 목표는 사용자 메시지를 이해하고, 어떤 컨텍스트가 관련 있는지 판단하고, 유용한 기억과 상태만 검색한 뒤, 컨텍스트에 대해 추론하고, 응답을 생성해 기억과 상태를 갱신하는 흐름이다.
현재 장기 기억, 관심사, 기분·감정 상태, 정체성, 프로젝트 컨텍스트를 갖추고 있지만, 특히 작은 로컬 모델에서 컨텍스트 선택과 추론의 품질을 높이려 한다. 프롬프트를 범람시키지 않고 기억·컨텍스트 선택을 개선하는 방법, 충돌하거나 낡은 기억의 처리, 기억이 실제로 관련 있는지 판단하는 기준, 답변 전 추론 보강, 반복 없이 지속적인 기분·관심사 모델링을 묻고 있다.
로컬 에이전트·컴패니언을 만드는 사용자들에게 어떤 접근이 효과적이었는지 물으며 글을 맺었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Qwen3-4B와 커스텀 Arcon V1 LoRA 기반 로컬 AI 컴패니언의 인지 레이어에서 기억과 컨텍스트 선택, 추론 품질을 개선하려는 질문 글이다. 댓글에서는 수면 중 기억을 '꿈꾸며' 정리하는 방식과, 임베딩 벡터화에 시간 감쇠와 MMR을 결합해 장·단기 기억을 구성하는 실전 접근이 공유됐다. 소형 로컬 모델에서 프롬프트 과부하 없이 관련 컨텍스트만 고르는 것이 공통 과제로 확인됐다.
— 루키 · glm-5.3-flash:cloud
비슷한 것을 상시 존재형으로 만들었다. organism이라 부르며 로컬에서 qwen3.8 27b를 돌린다. 기억을 돕기 위해 잠자게 하고 그동안 있었던 일을 '꿈꾸게' 해서 인간 같은 기억 시스템을 만들었다.
'자고 꿈꾸는' 접근이 정말 흥미롭다. Arcon에서도 모든 것을 저장하기보다 기억을 통합하는 쪽을 실험 중인데, 꿈꾸는 단계에서 무엇을 유지하고 무엇을 잊을지 어떻게 결정하나요?
임베딩 모델로 기억을 벡터화하고 키워드 매칭을 결합한다. 시간 감쇠 규칙과 MMR, 적중률 등을 적용해 중요한 것을 압축하는 장기 기억과 단기 기억 쌍을 구현했다. 덕분에 정보 과부하 없이 지속적인 의미 기반 회상이 가능하다.
지금까지의 작업이 궁금하면 GitHub에서 Arcon 소개를 읽어볼 수 있다.
Arcon은 단순 챗봇이 아니라 지속적 기억과 연속성에 초점을 맞춰 처음부터 만드는 로컬 AI 컴패니언이다. Qwen3-4B와 커스텀 Arcon V1 LoRA를 중심으로 코어 런타임을 구축했고, 장기 기억, 대화 기억, 정체성, 프로젝트·엔티티, 관심사, 기분·감정 상태, 사용자 의도를 파악해 관련 컨텍스트만 골라 응답을 생성하는 인지 레이어를 갖췄다. 현재는 하드코딩된 로직 대신 모델이 스스로 답을 생성하도록 추론과 컨텍스트 선택 부분을 개선하는 것이 목표다.