3D 프린터를 보유하고 실제로 활용하는 사람이라면 없어진 브래킷, 케이블 정리함, Steam Deck 거치대 같은 집안의 자잘한 작업을 위해 프린터가 놀랍도록 유용하다는 것을 알게 된다. 과거에는 앱이나 유용한 소프트웨어, 게임이 필요할 때 게으른 선택을 했다. 코딩을 할 줄 알고 실제로 해본 적이 있음에도 '귀찮음' 때문에 그냥 최신 최고의 제품을 사거나 다운로드하곤 했다.

올해 초 가격 인상 전에 128GB 통합 메모리를 갖춘 Minisforum MS-S1 395+ Max를 운 좋게 확보했으며 현재 32GB 시스템 메모리와 96GB VRAM으로 구성해 쓰고 있다. 처음에는 Qwen 3.6 27B 또는 3.6 35B MoE와 함께 사용했지만 지금은 3.8 27B uncensored 모델을 돌린다. 이 시스템은 Q8 양자화 모델을 256k 전체 컨텍스트로 쉽게 감당한다.

이제 소프트웨어가 없을 때 직접 구축한 커스텀 에이전트 프레임워크로 몇 시간 안에 로컬에서 만드는 것이 첫 번째 본능이 됐다. 만든 것들은 외부 배포용은 하나도 없지만 매일같이 기능을 추가하고 있다. 예를 들어 이 게시글을 쓰는 동안 프레임워크가 2시간 전에 떠올린 아이디어를 완성했다. 오늘 아침 일어나며 일본 비주얼 노벨이 많으니 Exe에 연동하는 훅이나 텍스트를 OCR로 읽어 로컬 LLM으로 번역하는 앱을 만들면 어떨까 생각했는데, 이미 완성돼 테스트만 남아 있다.

성인 게임 12개(호른 상태로 코딩하지 말자), 집 AI, 코딩 프레임워크, 플레이하는 모든 게임을 추적하고 관련 FAQ나 위키를 다운로드하는 게임 앱, Skyrim 설치용 모드 17개, Fallout New Vegas 설치용 모드 12개를 작성했다. 또한 로컬 RSS 피드를 가져와 중앙난방 시스템 온도 설정을 제안하는 집 온도 추적 시스템, 이동 스쿠터용으로 평소 경로의 문제나 보도를 통행 불가로 만들 수 있는 도로 공사와 유지보수를 확인하는 매핑 소프트웨어도 만들었다. 그 외에 수백 개의 트윅과 테스트 프로그램이 있다.

이렇게 활용하는 다른 이들도 있을까. ----------업데이트---------- 이런 토론을 볼 수 있어 훌륭하다. 로컬 LLM의 놀라운 강점 중 하나는 느려도 상관없다는 점이다. 새로운 아이디어나 문제에 24시간 동안 5천만 토큰을 태워도 비용은 약간의 전기요금과 시간뿐이다. 이 글은 /u/Quebber가 제출했다.