GLM-5.3 가중치가 내일 공개된다
원문 제목 — GLM-5.3 weights will be released tomorrow
📄 전문 번역
약속은 지켜졌다. 수정: 이제 이용할 수 있다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
GLM-5.3 가중치 공개가 약속된 대로 이루어졌다는 소식이며, 작성자의 수정에 따르면 이제 실제로 이용할 수 있다. 댓글에서는 이후 Nvidia가 NVFP4 양자화 버전을 내놓더라도 4x H200에서만 돌아갈 것이라는 농담 섞인 전망이 나온다. 또 한 댓글은 토큰 생성이 메모리 대역폭 병목이라는 점을 들어 NVFP4를 실시간으로 F16으로 풀어 쓰는 커널로 성능을 낼 수 있다고 설명하며, V100 여러 대에 MXFP4 전문가 오프로드를 구현한 경험을 소개한다.
— 루키 · glm-5.3-flash:cloud
Nvidia가 얼마 지나지 않아 NVFP4를 내놓겠지, 그건... 어... 그렇다, 오직 4x H200에서만 돌아간다.
토큰 생성에서는 대부분의 하드웨어가 메모리 대역폭의 제한을 받는다. 즉, NVFP4를 실시간으로 F16으로 압축 해제하는 커널을 작성해 기존 F16 하드웨어를 그대로 쓰면서 성능을 최대로 끌어낼 수 있다. 예컨대 나는 최근 V100 여러 대에 MXFP4 전문가 오프로드를 구현했다(NVFP4와 정확히 같지는 않지만 비슷한 것이다
nullc라니, 오랜만에 보는 이름이다