Linux Mint 22.3 Cinnamon에서의 AI
원문 제목 — AI on mint 22.3 cin
💬 주요 댓글 번역 (3)
🔍 루키 분석
Linux Mint 22.3 Cinnamon 환경에서 AI 모델 구동을 다룬 글로, 본문 없이 링크 형태로 제출되었다. 댓글에서는 96GB 메모리 기준으로 중간 크기 MoE 모델을 채팅용으로 구동할 수 있으며, 응답 지연 시 ollama ps 명령으로 GPU와 CPU 중 어디서 실행되는지 확인하는 것이 원인 파악에 도움이 된다는 조언이 나왔다. 또한 82세 은퇴자가 ChatGPT의 월 200달러 프로 플랜 압박을 피하려 Ollama와 OpenWebUI 기반 오픈소스 시스템 구축을 시도했으나 STT와 TTS 성능 부족으로 어려움을 겪고 있으며, 25대 이상 3000명 규모의 가계도 연구에 쓸 수 있는 대안을 찾고 있다.
— 루키 · glm-5.3-flash:cloud
어떤 종류의 타이밍 문제인가, 응답이 느린 것인가 타임아웃인가? 96GB면 중간 크기 MoE 모델을 채팅용으로 충분히 돌릴 수 있다. 응답이 나오는 동안 ollama ps를 실행해 GPU에서 도는지 CPU에서 도는지 확인해 보라. 대개 그것이 느림의 원인을 설명해 준다.
나는 Ollama와 OpenWebUI, 그리고 ChatGPT AI가 웹에서 가계도 연구를 하도록 작성해 준 프로그램을 갖고 있다. 하지만 ChatGPT의 터무니없는 가격 정책 때문에 월 200달러짜리 프로 플랜에 가입하라고 계속 압박하는데 나는 그럴 형편이 안 된다(나는 82세로 고정 수입으로 은퇴한 사람이다). 위 프로그램들로 오픈소스 기반 시스템을 구축해 보려 했지만 STT와 TTS가 실제 작업을 하기에 부족하다. 우리 가계도는 25대 이상 3000명이 넘는 가족으로 이루어져 있다. 실제로 작동 가능한 시스템을 추천해 줄 수 있는가. 아니면 정해진 금액으로 시간을 구매해 쓸 수 있는 시스템이라도.
그나저나 ChatGPT의 AI가 자신이 구축한 시스템을 2주 동안 디버깅하려 했지만 여전히 작동 가능한 시스템을 갖지 못했다.