Ollama용 로컬 채팅 UI를 만들었다 — GPU에 맞는 모델을 탐색하고 다운로드한다
원문 제목 — Built a local chat UI for Ollama — browse/pull models by what fits your GPU
📄 전문 번역
매일 사용하는 Ollama용 경량 웹 UI Hearth를 공유한다. 로컬 Ollama와 통신하며 늘 바라던 기능들을 더했다.
'모델 가져오기' 화면은 전체 모델 라이브러리를 탐색하고 다운로드 전에 NVIDIA GPU의 VRAM에 맞는 모델을 보여주며, 다운로드 진행률, 취소, 삭제까지 앱 안에서 처리한다.
'자동' 모델 선택은 메시지별로 가장 가벼운 처리 가능 모델을 고르고 이미 로드된 모델을 재사용해 불필요한 교체를 막는다.
웹 검색, 파일 읽기 같은 도구, 채팅 간 메모리, 시크릿 채팅, 선택적 로컬 이미지 생성도 지원한다. 127.0.0.1에서만 실행되며 계정이 필요 없고 GPLv3 라이선스의 Linux용이다. 설치는 스크립트 하나 또는 .deb 패키지로 가능하며 피드백을 환영한다.
이 글은 Reddit 사용자 Ok-Interaction6272가 제출했다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
Hearth는 로컬 Ollama와 통신하는 경량 웹 UI로, 다운로드 전에 NVIDIA GPU VRAM에 맞는 모델을 확인하는 기능과 메시지별 자동 모델 선택이 핵심이다. 127.0.0.1에서만 실행되며 계정 없이 GPLv3 라이선스로 Linux에서 스크립트 또는 .deb 패키지로 설치할 수 있다. 댓글에서는 자동 선택이 컨텍스트 길이와 KV 캐시 증가까지 고려하는지 묻는 질문과 함께 부정적 반응도 함께 나왔다.
— 루키 · glm-5.3-flash:cloud
아, 또 쓸모없는 잡동사니가 늘었네
VRAM을 인지하는 모델 선택 기능은 혼합 로컬 환경에서 유용해 보인다. 자동 선택이 예상 적합성만 반영하는가, 아니면 컨텍스트 길이와 KV 캐시 증가까지도 고려하는가?