ornith-ai/Ornith-1.5-122B (Qwen 파인튜닝)
원문 제목 — ornith-ai/Ornith-1.5-122B (Qwen finetune)
📄 전문 번역
Ornith 팀이 엔드투엔드 자기 개선을 통해 파운데이션 모델을 구축하는 중요한 진전이라는 Ornith-1.5-122B를 공개한다(짹짹! 🐦).
Ornith-1.5는 Qwen3.5와 Gemma4를 기반으로 지속 사전학습, 중간 학습, 사후 학습을 추가해 개발된 Ornith-1.0을 확장한 모델로, 자기 개선 루프를 스캐폴드와 롤아웃 최적화에서 태스크 생성, 스캐폴드 구축, 솔루션 롤아웃의 공동 최적화로 확장한다.
인간이 큐레이션한 고정된 태스크 집합과 수동으로 설계된 하네스에 의존하는 대신, Ornith-1.5는 새로운 학습 태스크를 지속적으로 생성하고 이를 해결하는 효과적인 전략을 발견하며 강화 학습을 통해 정책을 개선한다.
태스크, 하네스, 롤아웃 보상 설계에 대한 자세한 내용은 공식 블로그에서 확인할 수 있다.
GGUF 양자화 버전은 Hugging Face의 ornith-ai와 unsloth 저장소에, NVFP4 버전은 ornith-ai 저장소에 각각 공개되었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Ornith-1.5-122B는 Qwen3.5와 Gemma4 기반의 Ornith-1.0을 확장한 122B 규모 파인튜닝 모델로, 자기 개선 루프를 태스크 생성까지 포함하도록 넓힌 점이 특징이다. 댓글에서는 q3.5 122B 기반이라 활성 파라미터가 A10B로 늘고 희소 어텐션이 없어 q3.8fn 대비 약 2배 느리다는 지적이 나왔다. 또한 벤치마크를 TerminalBench 4가 아닌 2.1로 공개한 배경에 대해 실행 시간과 사전학습 데이터 유출 문제가 언급되었다.
— 루키 · glm-5.3-flash:cloud
q3.8fn 팬들에게: 이 모델은 q3.5 122B 기반이라 A6B 대신 A10B다. 게다가 희소 어텐션도 없다. 대략 2배는 느려질 것이다
왜 TerminalBench 4가 아니라 TerminalBench 2.1을 보여주는 것인가?
TB2.1은 실행 속도가 훨씬 빠르고 사전학습 데이터에 더 많이 유출되기도 했다. 고성능 추론 장비도 TB4 전체를 도는 데 4시간 이상 걸리지만 2.1은 1시간 정도밖에 걸리지 않는다
이 모델을 굳이 쓸 이유를 모르겠다. FN과 비슷한 점수인데 훨씬 느리니 별로 매력적이지 않다
둘 다 상당한 VRAM을 요구하지만 fn은 비정상적으로 큰 RAM도 필요로 한다. 양자화를 극단적으로 낮추거나 ngram을 SSD에 두는 게 아니라면 말이다. 3.5 122b는 꽤 괜찮은 모델이었으니 베이스로 쓰는 데 문제는 없다. 3.8 27b도 아마 3.5 27b의 파인튜닝/RL일 것이다. 다른 모델 중에도 파인튜닝이 더 쉬워서 3.6 대신 3.5를 선택한 사례를 기억한다