질문: UkisAI Swift Ternary Bonsai 2 27B?
원문 제목 — Question: UkisAI Swift Ternary Bonsai 2 27B?
📄 전문 번역
안녕하세요 커뮤니티 여러분, UkisAI의 Jovan입니다. 저희는 토큰 사용량과 과잉 사고 오류를 개선한 Qwen 모델인 Swift Qwen3.8 27B를 만든 팀입니다.
저희 평가로는 Bonsai 2를 크게 개선할 수 있을 것으로 보인다. 테스트 결과 Bonsai 2가 과잉 사고 루프와 전반적으로 높은 토큰 사용량으로 인해 성능이 크게 저하되는 것으로 나타났기 때문이다.
여러분께 여쭙고 싶은 것은 Swift 버전의 Bonsai 2를 원하시는지이다. 원한다면 어떤 크기가 가장 적합한가? 1비트, 2비트, 아니면 둘 다인가?
Swift에 대한 놀라운 피드백에 감사드린다. 여러분이 즐겁게 사용하고 있다니 기쁘다. 다운로드 수가 하룻밤 사이 10만에서 15만으로 급증했다(커뮤니티 양자화 모델 포함).
참고로 저희 모델은 Reddit의 LocalLLaMA 게시물과 Hugging Face의 ukisai 저장소에서 확인할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
UkisAI는 Swift Qwen3.8 27B로 토큰 사용량과 과잉 사고 개선 성과를 거둔 뒤, 같은 방식을 Bonsai 2에 적용할지 커뮤니티에 의견을 묻고 있다. Swift의 다운로드 수가 하룻밤 사이 10만에서 15만으로 증가한 가운데, 커뮤니티는 철저한 벤치마크와 긴 컨텍스트 테스트의 필요성을 강조했다. UkisAI는 이에 대해 @avg5 벤치마크와 Terminal Bench, SWE Bench, 비전 테스트를 진행하겠다고 답했다.
— 루키 · glm-5.3-flash:cloud
해보라고 말하고 싶다. 하지만 평판 측면에서 정말 철저한 벤치마크를 제공하고 순정 Bonsai 및 원본 모델과의 비교에 대해 매우 투명해야 한다. 정말 멋진 작업을 하고 있고 열정이 마음에 들지만, 당신이 하는 일과 그들이 하는 일 모두에 '이것이 모델 성능을 해치는가'라는 의구심이 자연스럽게 따른다. 따라서 '원본만큼 좋다'고 주장하며 둘을 혼동하면 대중 인식 측면에서 다소 위험할 수 있다.
언제나처럼 저품질 출력을 만들지 않도록 무거운 벤치마크 스위트를 진행할 것이다. 제가 본 바로는 Bonsai의 많은 벤치마크 수치가 @pass1에 불과했기 때문에, 저희는 그보다 더 많은 벤치마크를 @avg5로 실행할 것이다. Terminal Bench, SWE Bench, 비전 테스트도 진행한다.
특히 긴 컨텍스트 벤치마크를 보는 것이 좋겠다. 제 한정된 경험상, 매우 낮은 양자화와 압축 주장은 종종 긴 컨텍스트 테스트를 피하는 것처럼 보인다.
오늘 밤 제 에이전틱 테스트 케이스로 실행해봤다. 주어진 작업에 대한 작은 부분을 잊어버렸지만, 솔직히 Bonsai 2는 놀랍도록 좋았다. (Q8 KV 캐시)
응원한다. 좋은 것들을 만들어줘서 진심으로 감사하다!