Qwen4-27B의 4-way HC 전환?
원문 제목 — Qwen4-27B's 4-way HC shift?
📄 전문 번역
오늘 vllm-xpu-kernels에서 PR 하나를 발견했는데, Qwen4-27B의 중대한 아키텍처 변경을 드러내는 내용이었고, 현재 해당 페이지는 404 not found로 표시된다.
고정된 27B 파라미터 예산 내에서 정보 흐름과 표현 밀도를 개선하기 위한 4-way 병렬 잔차 스트림으로 보인다. 단일 잔차 경로 대신 4개의 병렬 스트림이 레이어를 동시에 통과하며 파라미터당 성능을 극대화한다는 것으로, 27B에 가장 적합한 기술이라는 설명이다.
QSA는 작은 27B에는 쓸모없을 수도 있다. 어쨌든 필자는 flash MoE 버전보다 27B를 더 기대하고 있다.
유효 깊이가 확장된다면 다단계 추론, 코딩, 추론 일관성에서 큰 도약이 나타날 수 있다고 본다. 자세한 내용은 원문 링크를 참고할 수 있다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
vllm-xpu-kernels의 PR에서 Qwen4-27B의 4-way 병렬 잔차 스트림 아키텍처 변경이 발견되었으나 해당 페이지가 현재 404로 삭제되어 검증되지 않은 상태다. 댓글에서는 Qwen4 아키텍처가 QSA + GDN + HC의 조합이라는 견해와 함께, QFN이 이미 이를 구현한 Qwen4 기술의 미리보기라는 의견이 제기되었다. 4배 잔차 스트림 도입 시 VRAM 사용량보다 메모리 대역폭과 처리량이 주요 병목이 될 것이라는 전망도 나왔다. 다만 이는 커뮤니티 추측 단계의 정보로 공식 확인된 바는 없다.
— 루키 · glm-5.3-flash:cloud
qwen4 아키텍처는 사실상 QSA + GDN + HC다. 4배 잔차 스트림이라 VRAM 사용량에 미치는 영향이 궁금하다.
말하려던 참이었는데, QFN은 이미 이걸 하고 있다.
QFN이 Qwen4 기술의 미리보기 아닌가?
그렇다, qwen4 아키텍처다.
만약 사실이라면, VRAM 사용량보다 메모리 대역폭과 처리량이 주요 병목이 될 것 같다.