Ollama용 환각 방지 학술 연구 도구, 드디어 데모 영상 공개
원문 제목 — My hallucination-proof academic researcher (built for Ollama) finally has a demo video
📄 전문 번역
얼마 전 Academic-AI-Literature-Reviewer-Ollama를 소개한 바 있다. 실제 학술 데이터베이스(OpenAlex, Semantic Scholar, CORE, Europe PMC, Crossref, Unpaywall)를 검색하고 논문 전문을 읽어 실제 APA 인용이 붙은 문헌 고찰을 작성하는 로컬 파이프라인이다. 모든 인용문은 모델이 사용하기 전에 원본 PDF와 95% 유사도로 검증되며 조작된 인용은 없다.
드디어 처음부터 끝까지 실행되는 모습을 담은 데모 영상을 유튜브에 공개했고 소스 코드는 GitHub 저장소에서 확인할 수 있다. Ollama에서 실행되며 MIT 라이선스로 배포되고 유료 API도 필요 없다.
약 64K 컨텍스트의 30B급 추론 모델이 가장 적합한 지점이지만, 저사양 환경을 위해 무거운 단계를 청크로 나누는 저사양 모드도 마련되어 있다. 댓글에서 모델 선택이나 VRAM 트레이드오프에 관해 논의할 의향이 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ollama 기반 로컬 학술 문헌 검토 파이프라인의 종단 간 데모 영상이 공개되었다. 이 도구는 실제 학술 데이터베이스 검색과 원본 PDF 대비 95% 유사도 인용 검증으로 환각을 방지하는 것이 특징이다. 데모는 통합 메모리 64GB를 갖춘 AMD Strix Halo APU의 내장 Radeon 그래픽으로 실행되었으며, 30B급 추론 모델과 64K 컨텍스트가 권장 구성으로 언급되었다.
— 루키 · glm-5.3-flash:cloud
이런 것이야말로 챗봇만 늘어나는 게 아니라 로컬 AI에 진짜 흥미를 느끼게 만드는 것이다
감사합니다! 이 프로젝트를 만드는 데 정말 많은 시간을 들였고, AI의 힘을 활용하면서도 환각 문제가 없다는 점이 마음에 듭니다. 데이터베이스와 제가 개발한 시스템을 결합하면 질문 하나만으로 출처가 확실하고 진위가 의심되지 않는 매우 정확한 답을 얻을 수 있습니다
데모 영상에서는 어떤 하드웨어로 추론을 실행하고 있나요?
AMD Strix Halo APU에서 실행하고 있습니다. 정확히는 내장 Radeon 8050S/8060S 그래픽입니다(드라이버 문자열상 정확한 모델명은 아직 확정되지 않았습니다). 핵심은 통합 메모리 아키텍처로 총 64GB 시스템 RAM을 GPU가 VRAM으로 공유하기 때문에 추론에 64GB 전체를 사용할 수 있다는 점입니다. 칩에 XDNA 2 NPU도 내장되어 있지만 데모는 AMD ROCm/amdgpu 드라이버 스택과 KFD를 통해 GPU에서 실행했습니다. 저장 장치는 모델 로딩용으로 빠른 NVMe SSD인 Lexar NM790과 Crucial T500을 사용했습니다
다른 추론 엔진을 사용하는 것도 가능할까요?