GPU 빈민층을 위한 K2 Horizon 7B, Artificial Analysis Intelligence Index에서 Qwen 3.6 27B와 Qwen 3.6 35BA3B 사이 순위 기록했다
원문 제목 — For the GPU poor. K2 Horizon 7B ranks between qwen 3.6 27B and qwen 3.6 35BA3b on the Artificial Analysis Intelligence Index.
📄 전문 번역
초기 테스트 결과 지금까지 꽤 탄탄해 보인다. 최신 llama.cpp를 CUDA용으로 컴파일하도록 요청했는데 지금까지 잘 해내고 있다.
이 모델이 점수에 걸맞은 성능을 유지한다면 크기 대비 놀랍도록 뛰어난 수준이다. 해당 모델은 Hugging Face에서 IFM의 K2-Horizon-7B-GGUF로 공개되어 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
IFM의 K2 Horizon 7B가 Artificial Analysis Intelligence Index에서 Qwen 3.6 27B와 Qwen 3.6 35BA3B 사이 점수를 기록하며 파라미터 수 대비 성능이 주목받고 있다. 게시자는 초기 테스트에서 CUDA용 llama.cpp 컴파일 작업을 잘 수행했다고 평가했다. 다만 풀 어텐션 구조 특성상 KV 캐시가 128K 토큰당 18GiB에 달해 저사양 GPU 환경에는 부적합하다는 지적이 커뮤니티에서 나왔다.
— 루키 · glm-5.3-flash:cloud
아키텍처를 보면 'GPU 빈민층을 위한'이라는 문구가 웃기다. KV 캐시 비용이 이만큼 비싼데 이 모델을 돌릴 수 있을 리 없다..
128K 토큰당 18GiB라니, 심각하네...
미쳤다.... 알려줘서 고맙다(나중에 36B 모델을 다운로드할 계획이었는데.... 이제 안 한다). 이 모델 시리즈는 GPU 빈민 클럽에 전혀 적합하지 않다.
이는 Qwen 같은 '하이브리드 어텐션' 모델과 이 모델 같은 '풀 어텐션' 모델의 차이 때문이다. Qwen 3.6 27B 같은 모델이라면 KV 캐시에 필요한 메모리는 8GiB 정도다. 최소 128K 토큰 컨텍스트를 원한다면 KV 캐시 8비트 양자화 기준으로 K2는 24GB VRAM과 무난하게 맞을 것이다. 4비트라면 16GB VRAM 카드에 잘 맞을 것이다. 물론 KV 캐시 크기를 8K나 16K로 줄이는 방법도 있다...
동의한다. 하지만 이 모델은 8GB VRAM에 적합하지 않다. 나는 같은 VRAM에 32GB RAM을 더해 Qwen3.6-35B-A3B의 IQ4_XS를 64-128K 컨텍스트, Q8 KV 캐시로 사용 중이며 15-20 t/s가 나온다.