로컬 27B 모델이 임대 계약서를 읽고 공과금 속 누수를 찾아낸다 | Row-Bot + qwen3.8, Ollama 구동
원문 제목 — A local 27B model reads my lease and finds a leak in my bills | Row-Bot + qwen3.8 on Ollama
📄 전문 번역
Row-Bot 5.0을 Ollama에서 qwen3.8:27b 모델과 함께 자신의 GPU로 구동했다. API 키도, 클라우드도 없이 말이다. 1년치 공과금, 임대차 계약서, 보험 약관, 임대료 인상 통지서(모두 가상 자료)를 모델에 입력했다.
모델은 수도요금 고지서에서 누수 가능성을 발견했고, 임대료 인상이 계약 위반에 해당함을 보여주었다. 모델이 실제로 수행한 작업은 다음과 같다. CSV 데이터를 Plotly로 인라인 차트로 시각화했고, PDF를 읽어 4.1조부터 4.3조까지 인용했다. 5% 상한선 대비 10% 인상, 2개월이 아닌 5주 전 통지라는 내용이다. 또한 로컬 지식 그래프에 8개의 연결된 메모리를 저장하고, 중개인에게 보낼 이메일 초안을 작성한 뒤 알림을 설정했다.
솔직한 수치로는 dense 방식의 27B 모델이 5090에서 초당 약 15토큰을 처리해 일부 턴은 2분 이상 걸렸다. 영상의 주황색 배지는 속도를 높인 구간을 표시한 것이다. Windows, macOS, Linux에서 구동된다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
이 게시물은 Ollama에서 qwen3.8:27b 모델을 구동하는 Row-Bot 5.0을 자체 GPU로 실행해 공과금과 임대 계약서를 분석한 사례를 다룬다. dense 방식 27B 모델이 5090에서 초당 약 15토큰으로 동작해 일부 응답에 2분 이상 걸린 점이 언급되었다. 댓글에서는 느린 속도의 원인이 dense 가중치와 Ollama에 있다고 보며, llama.cpp와 더 작은 양자화를 사용하면 개선될 것이라는 의견이 나왔다. Row-Bot의 UI는 row-bot.ai에서 제공되는 것으로 확인된다.
— 루키 · glm-5.3-flash:cloud
5090에서 초당 15토큰이라니, 풀 웨이트로 돌리는 건가요? 너무 느립니다.
네, dense 모델입니다. 아마 Ollama가 문제를 일으키는 것 같기도 합니다. llama.cpp 같은 도구와 더 작은 양자화를 쓰면 훨씬 더 높은 성능을 끌어낼 수 있을 겁니다.
그렇다면 많이 납득이 되네요, 감사합니다.
UI는 직접 만드신 건가요? 정말 멋지네요.
row-bot.ai입니다.