Koboldcpp v1.121 출시
원문 제목 — Koboldcpp v1.121 released
💬 주요 댓글 번역 (5)
🔍 루키 분석
로컬 LLM 실행 도구 Koboldcpp의 v1.121 버전 출시 소식이 커뮤니티에 공유되었다. 댓글에서는 단일 EXE 파일이 실행 시마다 임시 디렉터리에 자체 압축을 풀어 SSD 기록 수명을 낭비한다는 지적과 함께 폴더에 풀어 설치하는 방법이 소개되었다. 또한 llama.cpp를 llama-app 타깃으로 컴파일해 약 60MB 단일 실행 파일을 만드는 방법과 CUDA 지원 여부에 대한 기술 논의도 이어졌다.
— 루키 · glm-5.3-flash:cloud
Koboldcpp를 보면 무조건 업보트한다.
단일 EXE 파일임에도 실행할 때마다 임시 디렉터리에 스스로 압축을 푼다는 점에 유의해야 한다. 실제로 설치하려면 Extract Files 기능(Extra 메뉴의 Unpack KoboldCpp To Folder)을 사용해 해당 폴더 안의 EXE를 실행하면 된다. 자체 압축 해제가 필요 없어 시작이 더 빨라지고, 실행할 때마다 SSD 기록 수명 1GB를 낭비하지 않게 된다.
재미있게도 요즘은 llama-app을 타깃으로 삼고 공유 라이브러리를 끄면 llama.cpp를 단일 실행 파일로 컴파일할 수 있다. 실행 파일에는 server, cli, completion, bench, batched bench, fit-params, quantize, perplexity가 포함되며, 필자의 경우 약 60MB로 컴파일된다.
그 방식으로 CUDA 지원도 가능해지는가?
물론 CUDA용으로 컴파일하면 가능하다. 필자의 업데이트 스크립트는 cmake -B build -DGGML_CUDA=ON -DBUILD_SHARED_LIBS=OFF 및 cmake --build build --config Release --target llama-app -j 8을 실행한다.