Mradermacher에게 감사를 전한다
원문 제목 — Thank You, Mradermacher.
📄 전문 번역
업계 최고 수준의 IQ 양자화 모델이다. LM Studio가 Hermes에 서빙하는 구성에서 4060 8GB 2장으로 Gemma 4 26B를 TG 75tok/s, PP 1500으로 구동하는 데 성공했다. 정말 많은 작업이 이뤄진 결과다.
u/Spiritual_Impress_30가 제출한 글이다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
Mradermacher가 제공하는 IQ 양자화 모델 덕분에 듀얼 GPU 구성으로 대형 모델을 빠르게 구동할 수 있었다는 사용자 후기다. 4060 8GB 2장에 LM Studio로 Hermes에 서빙하며 Gemma 4 26B를 TG 75tok/s, PP 1500 성능으로 실행했다. 댓글에서는 Mradermacher가 개인인지 여러 워커를 운영하는 그룹인지 논의가 이뤄졌고, 처음에는 개인으로 시작했다는 의견도 나왔다.
— 루키 · glm-5.3-flash:cloud
그 남자, 그 신화, Mradermacher다.
한 사람이 아니라 여러 사람, 혹은 몇몇 개인이 세팅한 여러 대의 머신 집단 아닌가? 어쨌든 상태 트래커를 보면 여러 워커가 24시간 내내 GGUF를 만들고 있다. 혼자서 전부 처리하는 것처럼 보이지는 않는다.
지금은 그렇지만 처음에는 한 사람으로 시작한 게 분명하다.
자기 자신을 고도로 최적화된 Q4 클론 여러 개로 양자화해버렸고, 이제 그 클론들이 24시간 내내 작업을 쏟아내고 있다.
하하하.