SurfSense의 유지보수자 중 한 명으로서 이 글은 자체 홍보성 게시물이다. 모델 선택 부분에 대해 이 커뮤니티가 의견을 낼 것으로 생각하고, 추천보다 진짜 피드백을 원해서 여기에 올린다.

필자는 구글 계정에 올리고 싶지 않은 업무 자료를 제외한 모든 작업에 NotebookLM을 사용해 왔다. 그래서 Ollama에서 구동되는 오프라인 버전을 만들었으며, 일부 사용자에게는 잘못된 선택이 될 수 있다는 점도 솔직히 말한다. 주목할 부분은 모델 선택기다. RAM과 VRAM, 메모리 통합 여부를 읽어 요청한 컨텍스트 기준으로 각 모델을 점수화하고 맞지 않는 모델은 회색으로 표시한다. 덕분에 첫 토큰이 나오기까지 4분을 기다린 후가 아니라 다운로드 전에 적합 여부를 알 수 있다. Qwen3는 0.52GB부터 20.2GB까지 여섯 가지 크기로 제공되며, llama.cpp, LM Studio, vLLM을 지정하고 싶다면 OpenAI 호환 베이스 URL로 대체할 수도 있다. 라이선스는 Apache-2.0이다.

지원하는 기능은 인용이 포함된 소스 기반 채팅, 요약, 마인드맵, 플래시카드, 퀴즈, 오디오 개요다. 슬라이드와 보고서는 편집 가능한 .pptx와 .docx로 출력되며 .xlsx와 인포그래픽도 만들 수 있다.

지원하지 않는 기능도 분명하다. 비디오 개요는 없고 오디오 품질은 더 낮다. Kokoro-82M이 클라우드 TTS 없이 CPU에서 구동되지만 구글 진행자 같은 음성은 아니며, 오디오는 MP3가 아닌 WAV 형식이다. 파일 업로드는 PDF, DOCX, PPTX, XLSX, HTML, CSV, MD, TXT, 이미지만 가능하다. 어떤 데이터도 기기를 벗어나지 않으며, 인덱스는 SQLite 기반이고 계정도 텔레메트리도 없고 목적지를 직접 켜지 않는 한 네트워크 호출도 발생하지 않는다.

올바른 소스를 신뢰할 수 있게 인용하는 8B 미만 모델을 발견한 사람이 있는지 묻는다. 필자가 계속 부딪히는 벽이 바로 이 지점이라고 개발자는 말한다.