여러분 안녕하냐! 그냥 지쳤다는 말을 하고 싶다 ㅋㅋ. 또 하나의 하네스지만, Jenny(XJ-9처럼) 앱을 만들기 위해 많은 시간과 노력을 쏟았고 취미도 저버렸다. Jenny는 툴 호출, 롤백, IDE를 갖추고 로컬 LLM을 구동하는 무료 MIT 라이선스 Electron 데스크톱 앱이다. 1년~1년 반 전 여러분도 아마 필자와 같은 생각을 했을 것이다. 최신 LLM 사용은 사모펀드와 벤처캐피털이 대폭 보조하고 있고, 결국 그 돈이 바닥나면 서비스가 열화되리라는 생각이었다. 그래서 로컬 LLM을 프라이빗하게 호스팅할 수 있는 하네스를 만들기 시작했다. 지난 1년 반 동안 수많은 바이브코딩 반복을 거쳐 마침내 네이티브 Electron 데스크톱 앱에 도달했다. 사람들에게 쉽고 매끄럽게 쓰이길 원했다. 전문 소프트웨어 개발자는 아니지만 개발과 AI 기술에 깊은 개인적 관심이 있다. 하지만 Jenny 프로젝트는 제2의 직장이 되었고, 이제 출시할 준비가 된 상태라고 생각한다. 혼자 진행한 프로젝트였고 정말 재미있었다. Unsloth Desktop(참고로 훌륭하다), LM Studio, Open WebUI처럼 먼저 나온 훌륭한 선택지가 많다는 것을 알지만, 누군가는 Jenny와 그것이 제공하는 것을 즐겨주길 바란다! 앱을 유지보수하고 개선할 계획이지만, 역시 혼자이고 본업과 좀 더 신경 써야 할 친구들이 있다. (이슈 등록은 환영하지만, 부드럽게 부탁한다!)

주요 특징은 다음과 같다. 프라이빗하게 로컬로 구동되며 로컬 모델 런타임 외에는 네트워크 호출이 없다(디버깅과 문제 해결을 위한 프라이빗 사용자 대면 텔레메트리만 존재한다). 완전 오픈소스이며 MIT 라이선스다. 재미있고 예쁜 채팅 UI(필자 생각에)를 갖췄다. 작은 모델도 유능하게 만들어주며(툴 호출과 속도에는 ornith1.5:9b를 강력 추천한다), 안전과 롤백 기능을 갖춰 작은 모델이 크게 실수하더라도 걱정할 필요가 없다. 파괴적인 셸 명령은 승인이 필요하고 파일 편집은 체크포인트로 저장된다! 손으로 직접 코드를 짜는 것을 좋아하는 이들을 위한 완전한 IDE가 있다. 모델이 읽고 수정할 수 있는 캘린더와 스크래치패드 같은 어시스턴트 기능도 있다. 데이터가 풍부한 진단과 로그를 제공한다. llama.cpp, vLLM 또는 모든 OpenAI 호환 로컬 엔드포인트를 지원하며, 관리형 llama-server를 통한 GGUF(MTP용)도 지원한다.

이 프로젝트에 쏟은 시간과 정신적 고통을 값어치 있게 만들어줄 피드백이라면 무엇이든 감사히 받겠다. 푸념하지만 모두 애정에서 나온 것이다! Jenny가 여러분의 개발에도 도움이 되길 바란다. Windows 빌드는 탄탄하다(5070 Ti와 ornith15:9b 조합의 성능도 마찬가지다). MacOS는 가난한 탓에 테스트되지 않았다. Linux는 없다(미안하지만, 엔진 제공자를 탓하자).

편의를 위해 서명되지 않은 설치 프로그램 .exe도 만들었지만, 신뢰하지 않는다면 이해한다. SmartScreen 경고가 표시될 것이다. 이 글은 /u/TangySword가 제출했다.