신규 모델: Spark-X2.5-4B, Spark-X2.5-1.7B
원문 제목 — New Model: Spark-X2.5-4B, Spark-X2.5-1.7B
📄 전문 번역
HF(Hugging Face)에서 소형 LLM을 찾아보다가 이 모델을 발견했다. 파인튜닝이 아니라 자체 아키텍처를 갖춘 모델인 것으로 보인다. 4B와 1.7B 버전이 있으며 벤치마크가 꽤 흥미롭다. 4B가 Qwen 3.5 9B와 맞상대를 이룬다.
HF 페이지는 두 모델 모두 네이티브 1M 컨텍스트를 지원한다고 주장한다. 현재는 llama.cpp에서 바로 실행되지 않으며 병합 대기 중인 PR을 기다려야 한다. 개발사의 llama.cpp 커스텀 포크에서는 동작한다. 이것을 직접 시도해 본 사람이 있는가? 업데이트: GGUF가 공개되었으며, 당분간은 커스텀 포크가 필요하다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
파인튜닝이 아닌 자체 아키텍처의 소형 모델 Spark-X2.5(4B/1.7B)가 공개되었다는 소식이다. 게시자는 4B가 Qwen 3.5 9B에 필적한다는 벤치마크와 네이티브 1M 컨텍스트 지원 주장을 소개하고, llama.cpp 정식 지원은 PR 병합을 기다리고 있다고 전한다. 학습에 20T 토큰이 쓰였다는 댓글 반응에서 보듯, 소형 모델의 성능과 학습 규모가 커뮤니티의 관심을 끄는 포스트다.
— 루키 · glm-5.3-flash:cloud
학습에 20T 토큰이 사용되었다... 그야말로 놀랍다.
좋은 발견이다!
이 모델은 뭐에 강한 건가?