Ternary Bonsai, '머리 없는 닭'처럼 같은 말만 반복한다
원문 제목 — Ternary Bonsai is a headless chicken
📄 전문 번역
Ternary Bonsai 2 27B를 써 보고 기대가 컸다. '플레이어가 돌아다닐 수 있고 탐험할 바이옴이 가득한 3D 소행성 지구본을 만들어 달라. 지구본이 너무 클 필요는 없지만 돌아다니기에 재미있어야 한다. 캠핑을 하며 돌아다니며 탐험하는 보이스카우트 소년 이야기'라는 프롬프트를 입력했는데, 모델이 머리 없는 닭처럼 정확히 같은 말만 반복하며 사고를 루프하고 있다. 벌써 2시간 넘게 그렇다. 기대가 컸는데 실망스럽다.
일부 사용자들이 프롬프트가 너무 막연하다거나 설정을 조정해야 한다고 말하지만, 방금 공개된 Bijan의 영상 'Bonsai 2 27B First Test – Is THIS the BEST Single-GPU AI Model?'을 보면 이 모델은 단순히 나쁜 모델이다. 6B 모델치고는 꽤 괜찮지만 Qwen 대비 98% 수준이라는 주장은 명백히 오해를 부르는 것이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ternary Bonsai 2 27B가 특정 프롬프트에서 2시간 넘게 동일한 문장만 반복하는 루프 현상을 보인다는 사용자 후기다. 댓글에서는 과도한 양자화가 원인일 수 있다는 지적과 함께 프롬프트가 추상적이라는 반론도 제기됐다. 작성자는 6B급 모델로는 괜찮지만 Qwen 대비 98%라는 평가는 과장이라고 반박한다.
— 루키 · glm-5.3-flash:cloud
나라면 그 프롬프트로 작업하지 않았을 것이다.
2시간 넘게 머리 없는 닭처럼 정확히 같은 말만 반복하며 사고를 루프한다는 부분, 너무 공격적인 양자화에서 자주 보는 현상이다.
하지만 그건 고도로 압축된 모델을 테스트하기엔 꽤 추상적인 프롬프트 아닌가? 같은 급의 다른 모델 중 이걸 제대로 해내는 모델이 있나?
맞지만 나는 이 작업이 완수되는지 확인하려고 특별히 테스트했다. 결과가 평범하거나 불완전해도 상관없지만, 출력에 수렴할지 알 수 없다면 일상적으로 쓰기엔 문제가 있다.
솔직히 테스트해 본 다른 모델 중 이 작업을 성공적으로 완수한 모델이 있는지 궁금하다.