Aleph Alpha의 Kolibri 78B, 온라인에서 무료로 체험 가능해진다
원문 제목 — You can now try Aleph Alpha's Kolibri 78B for free online here.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Aleph Alpha의 78B 규모 Kolibri 모델을 온라인 챗봇 데모를 통해 무료로 체험할 수 있게 되었다는 소식이다. 커뮤니티에서는 시스템 프롬프트가 매 질문마다 모델의 정체를 강조하는 점과, 벤치마크에서 Qwen3.5-36B-A3B가 Qwen3.6-36B-A3B보다 높은 점수를 기록한 것에 대한 신뢰성 우려가 함께 제기되었다. 일부 사용자는 llama.cpp 지원이 추가되면 직접 테스트할 계획이라고 밝혔다.
— 루키 · glm-5.3-flash:cloud
시스템 프롬프트를 바꿔야 한다. 어떤 질문을 해도 Aleph Alpha의 Colibri라고 답하는 것을 고집하고 있다.
ㅋㅋ 이 모델이 누구냐고 물었더니 Claude라고 답했다는 글 백만 개 없이 역사상 최초로 모델 출시를 하겠다는 게 목표인 모양이다.
솔직히 벤치마크에서 Qwen3.5-36B-A3B가 Qwen3.6-36B-A3B보다 높은 점수를 기록한 건 상당히 우려스러우며 다른 수치들도 의심하게 만든다.
모든 점수를 살펴보지는 않았지만 내 사용 경험에서도 비슷한 생각이 든다. 내가 하던 작업에서는 3.6이 크게 후퇴했고 거짓말도 더 자신감 있게 했다. 3.8 dense와 일부 MoE 파인튜닝(예: Ornith)은 이를 해결했지만 베이스 3.6은 거의 모든 워크로드에서 놀랍도록 저조한 성능을 보였다. 개인 벤치마크에서도 같은 결과가 나왔다. 3.6 APEX I-Balanced는 전 항목에서 3.5 Q5_K_S보다 나빴고, 3.6 Q6_K_XL은 일반 도메인 지식은 약간 나았지만 거짓말을 억제하는 측면에서는 훨씬 나빴다. llama.cpp 지원이 추가되면 이 새 모델을 테스트해 보고 싶다.
실제로는 Qwen 3.5가 Qwen 3.6보다 낫다 ;) 그리고 참고로 아키텍처는 완전히 동일하며 학습 데이터만 다르다...