블록마다 다른 어텐션 🙊
원문 제목 — Different attention for each block 🙊
📄 전문 번역
머지않아 SLA의 2배 성능 향상을 품질 손실을 크게 일으키지 않고 얻을 수 있을 것으로 보인다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
게시물은 SLA 희소 어텐션을 블록별로 선택 적용해 약 2배의 성능 향상을 얻을 가능성을 다룬다. 댓글에서는 85% 희소 비율 적용 시 샘플링이 약 2.5배 빨라지지만 품질 저하가 크다는 점과, 덜 중요한 블록에만 적용하면 절충이 가능하다는 의견이 제시됐다. 다만 건너뛸 수 있는 블록을 찾는 데 모델별 튜닝이 필요하다는 지적과, 중요하지 않은 블록의 존재 자체를 의문시하는 반응도 있었다. 한 댓글은 GGUF에서 블록 중요도에 따라 양자화 수준을 다르게 적용하는 방식을 유사 사례로 언급했다.
— 루키 · glm-5.3-flash:cloud
공짜로 2배라니, 항상 너무 좋아서 믿기 어려운 이야기다 ㅋㅋ
공짜는 아니지만 품질 손실이 크지 않은 것이다. 85% 희소 비율의 SLA 희소 어텐션은 이미 샘플링을 약 2.5배 가속하지만 품질이 크게 떨어진다. 덜 중요한 블록에만 적용할 수 있다면 절충안을 얻을 수 있다.
아 이해했다. 일괄적인 85%보다 선택적 희소성이 더 말이 된다. 그래도 어떤 블록을 건너뛰어도 안전한지 찾으려면 모델별로 많은 튜닝이 필요할 것 같다. 모든 모델에 똑같이 적용되는 방식은 아니라고 본다.
그런데 중요하지 않은 블록의 비율은 얼마나 될까? 애초에 그런 블록이 존재하기는 할까? 학습할 때는 그런 블록을 최소화하려고 노력한다고 생각한다. 그다음에 무엇을 희생할 수 있는지 평가하는 것이다. 따라서 마법 같은 일은 없을 것이다.
GGUF에서는 블록의 중요도에 따라 서로 다른 양자화가 적용된다. 중요하지 않은 블록의 비율이 얼마나 되냐면, 내 기억이 맞다면 상당히 크다. 중요한 블록보다 더 크다.