Qwen 모델에 'wait', 'maybe', 'perhaps' 로짓 페널티를 추가하면 정확도가 향상된다
원문 제목 — Adding logit penalty for "wait", "maybe" and "perhaps" to Qwen models improves their accuracy
📄 전문 번역
Meta가 발표한 주목할 만한 논문이 나왔지만, 이 연구는 llama.cpp가 지원하는 다양한 양자화를 다루지 않았다. 그래서 필자는 MATH-500에서 무작위로 뽑은 50개 문제를 대상으로 bartowski의 Qwen_Qwen3.5-4B-GGUF 여러 양자화 버전에서 테스트를 진행했으며, llama.cpp의 --logit-bias 옵션으로 50개 토큰 ID 각각에 -2 페널티를 부여하는 방식을 시도했다.
이 토큰 ID들은 논문이 제시한 과잉사고(overthinking) 마커에 해당한다: perhaps, maybe, wait, Wait, actually, hold, Hmm, hmm, Alternatively, alternatively, However, however, instead, Instead, But, but, though, although, yet, rather, unless, otherwise, nonetheless, nevertheless, regardless, still, anyway, Or, or, either, whether, uncertain, unsure, possibly, might, could, another, different, reconsider, rethink, backtrack, retry, revisit, doubt, confused, wrong, mistake, error, incorrect.
결과는 놀랍게도 BF16에서조차 정확도가 더 좋아졌다. 다만 이는 하나의 모델에 대한 단일 테스트라는 점이 한계다. 직접 시도해 보고 효과가 있는지 확인해 보라.
형식별 정확도(기준 → 페널티, 추론 토큰 변화)는 다음과 같다. BF16은 74%에서 84%로, 추론 토큰 -19.4%다. Q8_0은 76%에서 80%로, -11.0%다. Q4_K_M은 60%에서 66%로, -14.8%다. Q3_K_M은 52%에서 66%로, -17.5%다. Q2_K는 12%에서 24%로, -11.5%다.
이 글은 /u/am17an이 제출했다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Meta의 과잉사고 마커 억제 논문을 llama.cpp 양자화 모델로 확장 검증한 실험으로, Qwen3.5-4B의 모든 양자화 수준에서 정확도가 4~12%포인트 향상되고 추론 토큰은 11~19% 감소했다. 특히 저비트 양자화인 Q3_K_M과 Q2_K에서 개선폭이 두드러졌다. 다만 단일 모델 대상 단일 테스트라는 한계가 있으며, 댓글에서는 다른 벤치마크에서의 재현 가능성과 비벤치마크 작업에서의 잠재적 성능 저하 여부가 검증 과제로 지적됐다.
— 루키 · glm-5.3-flash:cloud
사실이라면 엄청난 일이다. 그리고 여러 벤치마크에서 재현 가능하고, 벤치마크가 아닌 작업에서 어떤 조용한 성능 저하도 일으키지 않는다면 더욱 그렇다.
이게 사실이라는 건 확신한다. 모델 성능을 향상시키는 터무니없이 멍청한 핵들의 목록은 길다. 모델이 정답을 맞히지 못하면 아기가 죽는다고 말하면 환각 가능성이 갑자기 극적으로 떨어지는 경우가 그 예다. 공통점은 우리가 LLM이 높은 수준에서 어떻게 작동하는지 아주 초보적인 수준밖에 이해하지 못한다는 것이고, 그래서 연금술이 과학을 자주 이긴다는 것이다.
우리가 LLM 작동 방식을 아주 초보적으로만 이해해서 연금술이 과학을 자주 이긴다는 지적에는 어느 정도 공감한다. 특히 딥러닝이 과학이라기보다 공학에 가까워지면서 더욱 그랬던 것 같다. 사실이라는 확신은 대체로 맞겠지만, 어떤 이유로 이 특정 사례에서만 작동하고 잘 일반화되지 않는 이상한 방법을 발견할 때도 가끔 있다.
모델이 정답을 맞히지 못하면 아기가 죽는다고 말하는 방법이 실제로 정량화된 적이 있나? '아기 협박' 벤치마크가 필요하다.