레딧에서는 많은 이들이 KLD 수치를 모든 양자화 모델을 구분하고 품질 순으로 매길 수 있는 절대적 지표처럼 취급한다. 그러나 결론부터 말하면 그럴 수 없다. KLD가 실제로 측정하는 것은 무엇일까. 베이스 모델과 양자화 모델에 동일한 텍스트를 입력하면 각 토큰에서 로짓으로 얻어지는 확률 분포를 비교할 수 있다. KLD는 기본적으로 이 두 분포가 얼마나 다른지를 측정한 뒤 모든 토큰에 걸쳐 평균을 낸 값이다.

여기서 첫 번째로 잘못될 수 있는 지점은 사람들이 위키피디아 문서 같은 무작위 텍스트를 모델에 입력해 그 데이터셋으로 KLD를 계산한다는 것이다. 그러나 이는 추론 과정에서 모델이 실제로 마주하는 내용을 대표하지 못할 수 있다. 생성이 진행될수록 컨텍스트의 상당 부분이 모델 자신이 생성한 토큰으로 채워지며, 무작위 텍스트 입력만으로는 이를 재현할 수 없다. 더 합리적인 수치를 얻으려면 베이스 모델로 자체 데이터셋을 생성한 뒤 그 생성 토큰으로 KLD를 계산하고 프롬프트 토큰에는 0의 가중치를 부여해야 한다.

두 번째 문제는 KLD가 조작하기 매우 쉽다는 것이며, 특히 수치가 모델 제작자 본인에게서 나올 때 더욱 그렇다. 양자화 방법은 대개 캘리브레이션 데이터에 의존하는데, 캘리브레이션에 쓴 것과 동일한 데이터로 KLD를 계산하면 수치가 다른 어느 방법보다 훨씬 좋아 보일 수 있다. 홀드아웃 데이터셋을 사용한다고 주장해도 마찬가지다. 캘리브레이션 데이터와 평가 데이터가 같은 출처에서 나왔거나 매우 유사한 분포를 가질 수 있기 때문이다. 어떤 이들은 그 동일한 데이터로 양자화 스케일 파라미터를 엔드투엔드 파인튜닝하기까지 하며, 이 경우 자기보다 두 배 큰 모델을 KLD에서 압도하면서도 그 데이터셋 밖으로는 거의 일반화되지 못하는 결과가 나타난다.

그렇다면 KLD는 의미가 있는가. 사람들이 생각하는 만큼은 아니다. 이는 매우 제한된 데이터셋 위에서 양자화 모델이 베이스 모델에서 얼마나 벗어나는지를 재는 수치일 뿐이다. KLD가 높다고 해서 해당 양자화 모델이 실제 과제에서 실패한다는 뜻은 결코 아니다. 벤치마크 역시 벤치맥싱될 수 있지만, 모델을 양자화하는 일반 사용자 입장에서 벤치맥싱은 KLD 수치를 조작하는 것보다 훨씬 어렵다. 벤치맥싱에는 상당한 하드웨어와 연산이 필요한 반면 KLD를 좋아 보이게 만드는 것은 터무니없이 저렴할 수 있기 때문이다.

따라서 KLD를 양자화 모델의 만능 리더보드처럼 다루는 것을 멈춰야 한다. KLD는 유용한 진단 도구이지 모델이 실제로 얼마나 좋은지를 잴 수 있는 척도가 아니다.