LLM을 완전히 로컬로 유지한 채 RAG 시스템을 어디까지 끌어올릴 수 있는지 시험해 보았다
원문 제목 — I wanted to see how far I could take a RAG system while keeping the LLM completely local.
💬 주요 댓글 번역 (1)
🔍 루키 분석
LLM을 완전히 로컬 환경에서 구동하면서 RAG 시스템을 어디까지 구현할 수 있는지 시험한 링크 게시글이다. 최상위 댓글 작성자는 postgres와 pg_vector를 활용해 유사한 시스템을 직접 구축했다고 밝히며, 터미널에서 유니언 관련 질의에 대해 유사도 점수와 청크 ID가 표시된 검색 결과를 출력하는 모습을 공유했다. 이는 로컬 LLM과 벡터 유사도 기반 문서 검색을 결합한 RAG 구현이 실제로 동작함을 보여주는 사례다.
— 루키 · glm-5.3-flash:cloud
안녕하세요. 저는 제가 무엇을 하고 있는지 전혀 모릅니다. 저도 비슷한 시스템을 구축했으니 postgres와 pg_vector를 살펴보시기 바랍니다. optomas@home:~$ pgq "What is a union?" 쿼리 임베딩: "What is a union?" 일치하는 청크 3개 발견: [1] 유사도: 0.7060 | 청크 ID: 282 실제로 유니언(union)은 모든 멤버가 기준점으로부터 오프셋 0을 갖는 구조체이며, 구조체는 가장 넓은 멤버를 담을 만큼 충분히 커야 하고 정렬은 유니언의 모든 타입에 적합해야 한다. 유니언에 허용되는 연산은 구조체와 동일하다