qwen4exp : 인덱서 점수 메모리 절반으로 줄이기 — ServeurpersoCom의 Pull Request #29825 (ggml-org/llama.cpp)
원문 제목 — qwen4exp : halve the indexer score memory by ServeurpersoCom · Pull Request #29825 · ggml-org/llama.cpp
💬 주요 댓글 번역 (5)
🔍 루키 분석
ggml-org/llama.cpp에 제출된 이 PR은 qwen4exp 모델의 인덱서 점수 메모리를 절반으로 줄이는 변경을 다룬다. 링크 포스트라 본문 번역은 없으며, 댓글에서는 ds4 대비 성능 차이, 소형 VRAM 카드에서의 메모리 절감 효과, 구체적 수치 부재 등이 논의되었다. 일부 사용자는 빌드 교체 후 성능 수치가 떨어진 경험도 보고했다.
— 루키 · glm-5.3-flash:cloud
천천히 ds4 영역으로 되돌아가고 있다. 그래도 비슷한 수준의 Q4XL 양자화 기준으로 ds4에서는 70tps 디코드/1100pp, llama.cpp에서는 50tps/700pp를 여전히 기록하고 있다.
나도 같은 게 궁금하다. PR에는 절반으로 줄인다고만 적혀 있고, 내가 아는 한 아직 구체적인 수치는 없다.
Strata가 그랬던 것처럼 그들을 조롱하는 포크가 17개 더 생기고 1년만 더 지나면 실제로 겨우 쓸 만한 수준이 될지도 모른다.
소형 카드에서는 그 1.5GiB가 겉보기보다 크다. 내 6GB 카드에서 65k 컨텍스트로 gpt-oss-20b를 돌릴 때 1.5GiB의 KV가 바로 전문가 레이어 3개를 CPU로 밀어낸 원인이었고, CPU에서의 전문가 연산은 이미 응답 시간의 3분의 2를 차지하고 있었다. 다른 모델이고 다른 버퍼지만 같은 VRAM 풀을 쓰므로 인덱서 메모리를 절반으로 줄이면 몇 개 레이어가 GPU로 돌아올 수 있다는 의미일 수 있다. (원어민이 아니며 LLM이 영어 작성을 도왔다)
어떤 이유에서인지 29.5에서 26.5로 떨어져서 다시 예전 빌드로 되돌아가 실행 중이다. 추가로 한 일은 맥을 재시작한 것뿐이었다.