Gyro 양자화, EXL3와 유사하지만 사실상 클로즈드 소스... 필요성에 의문 제기
원문 제목 — Gyro quants looks like EXL3 but kinda closed source. please explain why we need this.
📄 전문 번역
최근 Gyro라는 새로운 양자화 방식이 등장해 주목받고 있다. 다양한 엔진, 특히 최근 인기를 끌고 있는 Strata에 탑재되면서 인기가 높아지고 있다. 필자는 Gyro와 EXL3의 차이점을 확인하기 위해 코드를 분석했는데, Gyro는 단순히 EXL3 양자화의 다른 변형처럼 보인다. 그러나 상호 운용은 불가능하며, 제작 레시피는 현재 클로즈드 소스로 공개되어 있지 않다.
필자가 정리한 Gyro-S/Gyro-M과 EXL3의 비교는 다음과 같다. 양자화 계열은 양쪽 모두 QTIP/Trellis-coded quantization이며, Hadamard 회전도 양쪽 모두 지원한다. Trellis 상태 크기는 Gyro가 15비트, EXL3가 16비트다. 인코딩 단위는 Gyro가 128-웨이트 블록, EXL3가 256-웨이트 타일(표준 경로)이다. 코드북은 Gyro가 2,048개 2D 포인트를 담은 명시적 LUT를 사용하고 EXL3는 절차적 코드북을 사용한다. 웨이트 재구성은 Gyro가 상태 해싱과 룩업 테이블 방식, EXL3는 절차적 값 생성 방식이다. 비트 패킹 형식은 Gyro가 TQ2_T, TQK6, TQK7이고 EXL3는 EXL3 전용 패킹이며, 직접 상호 운용성은 양쪽 모두 입증되지 않았다.
필자는 디코드 속도나 퍼플렉시티/KLD/상위 1% 정확도 어느 면에서도 Gyro가 EXL3보다 낫다는 공개된 증거를 찾지 못했다고 밝혔다. Agentionai를 비하하려는 것은 아니지만, 어떤 이득도 주지 않으면서 커뮤니티만 더 파편화시키는 점이 마음에 들지 않는다는 것이다. EXL3는 그다지 알려지지 않은 반면 Gyro는 공격적인 브랜딩(소셜 미디어 등)으로 인기를 얻고 있으며, 필자는 'Agention Precision Rotor'라는 이름과 함께 증거를 요구하며 글을 맺었다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
새로운 양자화 방식 Gyro가 EXL3와 동일한 QTIP/Trellis-coded quantization 계열임에도 제작 레시피가 클로즈드 소스로 공개되어 커뮤니티에서 상호 운용성과 투명성에 대한 의문이 제기되고 있다. 글쓴이는 디코드 속도나 퍼플렉시티 등에서 Gyro가 EXL3보다 우수하다는 공개된 증거가 없다고 지적하며, 공격적인 브랜딩으로만 인기를 얻는 상황에 비판적 입장이다. 댓글에서는 EXL3를 클론한 것 아니냐는 반응과 함께, 오픈 웨이트 모델 구동에 클로즈드 소스 접근이 늘어나는 것에 대한 우려가 이어지고 있다.
— 루키 · glm-5.3-flash:cloud
누군가 EXL3를 바이브 클론해서 그 성능에 대한 공을 전부 가져가려는 것처럼 들린다.
맞다, 정확히 그렇다. 무례하게 들리긴 싫었지만 내 생각도 정확히 그것이다.
지난 1년간 llama.cpp 메인라인을 고집했지만 최근 tabby+exllamav3로 전환했고 아마 다시 돌아가지 않을 것이다. llama.cpp를 사랑하고 엣지 디바이스 같은 다른 용도로도 사용하지만, GPU 3개를 쓰는 메인 NVIDIA 셋업에서는 exl3로 전환하는 것만으로 KV를 양자화하지 않은 더 큰 컨텍스트와 동시 서브 에이전트 2배를 확보했다. exl3는 약간 더 작은 파일 크기로 더 나은 품질을 제공한다. 로컬 추론은 정말 놀랍고 기여하는 모든 이들에게 감사할 따름이다.
Trellis 상태가 1비트 더 작은데, 이론상 양자화 중 탐색 공간이 더 작다는 뜻이므로 다른 조건이 같다면 품질이 오히려 약간 나쁠 수도 있다.
이것은 Halogen의 문제이기도 하다. 이를 검증한 역공학자들의 보고에 따르면 Halogen는 HIP 커널 최적화 관련 몇 가지 트릭을 여기저기서 베껴 온 뒤로 끝이었다고 한다. 이후 Gufo가 등장해 제대로 된 방법을 보여줬다. 오픈 웨이트 모델을 구동하는 데 클로즈드 소스 방식이 더 늘어나는 것은 원치 않는다. 우리 모두 원하지 않는다. 이 때문에 해킹 등 수많은 나쁜 일이 일어난다.