zai-org의 GLM-5.3-Flash가 Hugging Face에 공개되었다
원문 제목 — zai-org/GLM-5.3-Flash · Hugging Face
💬 주요 댓글 번역 (5)
🔍 루키 분석
zai-org의 GLM-5.3-Flash가 Hugging Face에 공개된 사실을 전하는 링크 포스트로, 게시자 본문은 없다. 댓글은 다중 CPU 시스템에서 NUMA 도메인을 넘는 메모리 접근이 대역폭의 50~80% 손실을 유발한다는 설명으로 이어졌다. CPU 고정이나 BIOS에서 NUMA 비활성화로 MoE 모델의 성능을 약 10% 끌어올렸다는 경험도 공유되었다.
— 루키 · glm-5.3-flash:cloud
다른 용도와는 아무 상관이 없고, 전부 NUMA 도메인을 넘을 때 발생하는 막대한 대역폭 손실 탓이다. 고정하지 않으면 NUMA 도메인을 넘는 모든 바이트마다 메모리 대역폭의 50~80%를 잃게 된다.
그 장비는 LLM 전용이라 신경 쓸 다른 소프트웨어가 없다. numactl을 알아보던 참이었는데, 말씀이 단일 CPU에 고정하는 방식을 설치해 테스트해야겠다는 확신을 주었다.
굳이 그렇게 할 필요는 없다. numactl의 membind와 physcpubind 옵션이 다른 소프트웨어를 건드리지 않으면서 똑같이 효과적이다. 시행착오로 알게 된 중요한 사실 하나는, numactl을 쓸 때는 llama.cpp의 numa 플래그를 아예 사용하지 않는 편이 오히려 낫다는 것이다.
BIOS에서 NUMA를 비활성화하는 것도 테스트해 볼 가치가 있다. 내 z840에서는 적어도 MoE 모델 기준으로 약 10%의 pp 향상을 얻었다.
네 쪽에서 이상한 일이 있었던 것 같다. 8월 21일부터 495m, 290m, 287m, 728m, 527m, 236m을 기록했다. 주말에는 조금 느렸지만 월요일부터는 다시 마음껏 쓸 수 있었다. 나는 재시도 비율을 높인 omp 하니스를 통해 openrouter를 사용하고 있었다.