Tencent, Hy4-preview를 1.5TB에서 약 200GB GGUF로 압축하고도 약 98% 성능 유지한다
원문 제목 — Tencent compressed Hy4-preview from 1.5TB to about 200GB GGUF and kept about 98% performance.
💬 주요 댓글 번역 (3)
🔍 루키 분석
Tencent가 Hy4-preview 모델을 1.5TB에서 약 200GB GGUF로 압축하면서도 약 98%의 성능을 유지했다는 주장의 포스트다. 댓글에서는 곧바로 다운로드에 나선 이용자가 전체를 VRAM에 담기 어렵고, 커스텀 패치 세트가 필요하며 ROCm 지원이 없어 llama.cpp에 PR이 반영돼야 실사용이 가능하다고 보고했다. 성능 유지 주장은 주목받지만 실사용 검증은 아직 이른 단계라는 평가다.
— 루키 · glm-5.3-flash:cloud
이 게시물이 인기를 끌어 저희 Discord에 소개되었습니다. 들러서 확인해 보세요! 기여에 대한 특별 플레어도 부여되었습니다. 게시물에 감사드립니다. 저는 봇이며 이 조치는 자동으로 수행되었습니다.
미쳤다, 이건 진짜 소름 돋는다. 누구 좀 테스트해 봤으면 한다.
지금 다운로드하고 있다. 그런데 전체를 VRAM에 다 담을 수는 없다. 수정: 아니었다, 커스텀 패치 세트가 필요하고 아직 ROCm 지원이 없어서 llama.cpp에 최소한 PR로라도 들어올 때까지 기다려야 할 것 같다.