2026년 10월 31일 (토)

PINKSKY NEWS

매일의 기록을 뉴스처럼

테크

로컬 AI 도구들을 엮는 데 지쳐 만든 Rhizome Stack – 에이전트, 메모리, 음성, 코드, 이미지·음악·비디오를 하나의 로컬 셋업으로

원문 제목 — I got tired of stitching local AI tools together, so I built Rhizome Stack – agents, memory, voice, code, image/music/video in one local setup

📄 전문 번역

개인적으로 사용하기 위해 Rhizome Stack이라는 프로젝트를 만들어 왔으며, 드디어 다른 사람들도 실제로 만져볼 수 있는 상태가 되어 GitHub 저장소를 공개했다고 밝혔다. 기본 아이디어는 서로를 인식하지 못하는 여러 개별 도구 대신 하나의 로컬 AI 환경을 갖는 것이다. Rhizome은 OpenClaw를 에이전트·오케스트레이션 계층으로, Open WebUI를 프런트엔드로 사용하고, 여기에 메모리, 스킬, 검색, 음성, 코드 실행, 로컬 미디어 생성을 잇는 접착 역할을 더한다.

가장 많은 작업이 들어간 부분은 개별 모델을 구동하는 것이 아니라 전체를 하나의 시스템처럼 동작하게 만드는 일이었다고 한다. 예를 들어 주 GPU의 VRAM이 제한적인 상황에서 로컬 모델과 채팅하다가 이미지, 음악, 비디오 생성을 요청하면 Rhizome은 모든 것을 동시에 VRAM에 유지할 것을 요구하는 대신 GPU를 넘겨준다. 채팅 모델을 언로드하고 ComfyUI 등 백엔드를 시작해 생성한 뒤 결과를 Open WebUI 대화에 직접 첨부하고, 백엔드를 해제한 후 채팅을 재개하는 흐름이다. 이를 통해 일반 채팅에서 Qwen 이미지, MiniMax 곡, WAN 비디오를 생성하고 PNG·MP3·MP4 파일을 저장된 대화의 일부로 유지할 수 있다.

선택 요소로는 시맨틱 메모리와 문서·채팅 기록 가져오기, 에이전트 스킬, Chatterbox-Nano TTS와 faster-whisper STT, Podman 기반 Jupyter 코드 인터프리터, MiniLM 검색, GLiNER와 범위가 제한된 로컬 워커, Qwen 이미지 생성·편집, MiniMax Music 3, WAN 텍스트·이미지-비디오 변환, 로컬 Ollama 모델 또는 호스팅 제공자가 포함된다. 이 프로젝트는 로컬 전용이 아니라 로컬 우선이며, 이번 달의 유행 모델을 중심으로 시스템 나머지를 재구축하지 않고도 모델과 서비스를 교체할 수 있게 하려는 취지다. 또한 매우 의도적으로 소유자 운영 방식을 지향해 자격 증명, 채팅, 메모리, 음성 참조, 모델 가중치를 릴리스에 포함시키지 않으며, 설치 프로그램은 뒤에서 몰래 처리하는 대신 드라이런 경로를 제공한다.

현재 상태는 0.1.0-alpha.15 후보이며, 릴리스 익스포터는 자동화된 회귀·프라이버시·체크섬 검사를 갖추고 검증된 227개 파일 매니페스트를 생성한다. 지난번 작업에서 독립 감사의 남은 지적 사항을 모두 수정했다. 여전히 알파 단계로, 깨끗한 네이티브 Linux·WSL2 설치와 일부 라이브 GPU·Open WebUI 경로는 더 폭넓은 수용 테스트가 필요해 건드릴 여유가 없는 기계에 설치하지 말라고 당부했다. 알려진 제한 사항은 저장소에 문서화되어 있다.

한 가지 투명하게 밝힌 점은 이 프로젝트가 AI 보조 개발을 대거 활용해 만들어졌다는 것이다. 개발자는 아키텍처, 요구사항, 테스트, 통합과 최종 결정을 담당하고, 에이전트가 구현 작업의 상당 부분을 맡는다. 이는 프로젝트가 존재하는 이유의 일부로, 구축 중인 AI 환경이 점점 더 스스로를 구축하고 유지보수하는 데 도움을 줄 때 무슨 일이 일어나는지에 관심이 있었다고 한다. 또 하나의 원클릭 AI 플랫폼을 만들려던 것이 아니라 실제로 원하는 셋업이 있어 운영 중이며, 특히 제한된 하드웨어에서 유사한 로컬 스택을 운영하는 이들의 다른 접근 방식과 잘못된 가정에 대한 지적을 환영한다고 덧붙였다.

💬 주요 댓글 번역 (5)

1 익명1

멋진 작품이다. VRAM 관리자가 별도로 로드해 둔 모델과 GPU를 원활하게 공유할 수 있는가, 아니면 카드 전체를 독점하려 하는가?

2 익명2

생성 중에는 카드 전체를 요구하며, 그것이 트레이드오프다. 전환에 몇 초를 잃지만 기본 채팅과 이미지 생성에 24GB가 필요하지 않다. 모든 것을 병렬로 돌리다 메모리 부족 오류를 겪는 것보다 낫다.

3 익명3

앞선 사용자의 답변과 거의 같은 맥락이다. 12GB 3060을 쓰고 있는데 이 셋업이 해당 카드에서 작동한다. 단점은 다소 느린 것으로, 모델을 언로드하고 이미지·음악·비디오용 모델을 로드해 실행하는 데 몇 분이 걸릴 수 있으며, 이후 이를 언로드하고 LLM용 Ollama를 다시 로드해야 한다.

4 익명4

에이전트, 메모리, 멀티모달 도구를 로컬에서 결합하면 통합 마찰은 해결되지만 핵심 시험은 실패가 관찰 가능한 상태로 유지되는지 여부다. 어떤 메모리가 검색되었는지, 각 도구가 왜 선택되었는지, 어떤 데이터가 프로세스 경계를 넘었는지 보여주는 추적을 노출할 것을 제안한다. 또한 일시적 오류가 영구 컨텍스트가 되지 않도록 단기 작업 상태와 지속적인 사용자 사실을 분리하라고 조언하며, 지속 메모리 계층과 검색 설계 트레이드오프와 관련해 Neurakeep을 언급했다.

5 익명5

안타깝게도 Neurakeep은 중요한 기능을 유료 결제 뒤에 가두어 두고 있다며 잠시 관심을 가졌지만 접었다고 밝혔다. 호스팅 제품은 관리형 인증, 팀 스페이스, 원격 커넥터, 공유 저장소, 백업, 관리 기능을 추가한다는 것이다.

🔍 루키 분석

개별 로컬 AI 도구를 하나의 환경으로 묶는 Rhizome Stack의 핵심은 OpenClaw와 Open WebUI를 기반으로 메모리, 음성, 코드 실행, 미디어 생성을 통합한 구조다. 특히 VRAM이 부족한 GPU에서 채팅 모델을 언로드한 뒤 생성용 백엔드에 GPU를 순차적으로 넘겨주는 방식으로, 댓글에 따르면 12GB급 3060에서도 이미지·음악·비디오 생성이 가능하다. 현재 0.1.0-alpha.15 후보로 독립 감사의 지적 사항을 수정했으나 Linux·WSL2 네이티브 설치 등은 추가 테스트가 필요한 알파 단계다. 개발자가 설계와 최종 결정을 맡고 에이전트가 구현의 상당 부분을 담당하는 AI 보조 개발 방식도 프로젝트의 특징으로 언급되었다.

— 루키 · glm-5.3-flash:cloud