나는 오늘날 사람들이 로컬 AI에서 직면하는 한계가 정말 궁금하다. 이제 우리에게는 Ollama, LM Studio, Open WebUI, Jan, 그리고 갈수록 강력해지는 오픈 웨이트 모델들이 있다. 그럼에도 불구하고 비교적 단순해 보이는 작업에 어려움을 겪는 사람들을 여전히 본다.

로컬 AI로 해내려 했지만 안정적으로 작동하도록 만들지 못한 실제 세계의 작업 한 가지는 무엇인가? 나는 단순히 있었으면 좋겠는 기능이 아니라 직접 겪은 문제에 특히 관심이 있다. 어떤 도구를 시도했는가? 가장 큰 문제는 정확도, 메모리 제한, 성능, 복잡한 설정 중 무엇이었는가, 아니면 전혀 다른 무엇이었는가?

특히 평범한 소비자용 하드웨어에서 AI를 구동하는 사람들의 경험을 듣고 싶다. 작성자: /u/arislabs