Ternary Bonsai 2 (27B), Hugging Face에 공개… 6GB 미만 크기로 WebGPU 기반 브라우저 내 로컬 실행 가능
원문 제목 — Ternary Bonsai 2 (27B) just released on Hugging Face. At <6GB in size, it can even run locally in-browser on WebGPU.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ternary Bonsai 2(27B) 모델이 Hugging Face에 공개되었으며, 6GB 미만 크기로 WebGPU를 통해 브라우저 내 로컬 실행이 가능하다. 커뮤니티에서는 llama.cpp 빌드 기준 12GB 3060에서 초당 21토큰 디코딩과 약 240 프리필 성능이 보고되었고, 체스 SVG 테스트에서 인상적인 결과가 공유되었다. 한편 첫 번째 Bonsai의 코딩 성능에 실망했다는 사용자는 이번 버전의 개선 여부를 확인한 후 평가하겠다는 신중한 반응을 보였다.
— 루키 · glm-5.3-flash:cloud
솔직히 첫 번째 Bonsai는 크게 인상적이지 않았다. 작은 크기에 높은 지능이라 매력적으로 들렸지만, 내 코딩 테스트에서는 완전히 무너졌다. 이번에 상당히 개선됐다면 좋겠지만, 흥분하기 전에 결과부터 지켜보겠다.
어쩌면 7토큰 KV 풀이라면 가능할지도 모른다.
체스 SVG 테스트에서 인상적인 결과가 나왔다. 프롬프트는 다음과 같다. 체스 게임의 PGN 문자열이 주어지면: 1. b3 e5 2. Nf3 h5 3. d4 exd4 4. Nxd4 Nf6 5. f4 Ke7 6. Qd3 d5 7. h4 * 현재 체스판 상태를 파악해 SVG 코드로 이미지를 만들고 마지막 수도 강조하라. 양측의 색상이 올바른지 확인할 것. Ternary Bonsai 1과의 비교는 원문 참조.
제공된 llama.cpp 빌드로 12GB 3060에서 디코딩 초당 21토큰, 프리필 약 240이 나온다. 훌륭하다!
하지만 그게 지능을 해친다는 점이 문제다. 지능이야말로 이 모델을 쓰는 이유인데. 나는 아직 해결책을 찾지 못했고, 그냥 적어도 제대로 작동하는 Ornith를 쓴다.