Qwen3.8-27B나 GLM-5.3-Flash 같은 모델에서 H-Neurons를 비활성화하면 얼마나 나빠질까
원문 제목 — How bad do you think models like Qwen3.8-27B or GLM-5.3-Flash would be with H-Neurons disabled?
📄 전문 번역
요약하면 이 논문은 환각에 기여하는 뉴런을 비활성화함으로써 환각률을 매우 낮은 수준 또는 0으로 만드는 방법을 제안한다. 이 발견은 꽤 오래 전부터 알려졌지만 LLM의 일부를 절제하는 것과 같다 보니 큰 주목을 받지 못했다.
글쓴이는 AI와 대화하는 것 자체에는 큰 관심이 없고 대신 동작하는 좋은 코드를 만들어 내는 데 관심이 있다며, H-Neurons를 찾아 비활성화한 모델이 예컨대 DeepSWE에서 몇 퍼센트의 점수를 낼지 궁금하다고 말했다.
💬 주요 댓글 번역 (3)
🔍 루키 분석
환각에 기여하는 뉴런을 비활성화해 환각률을 0에 가깝게 낮춘다는 arXiv 논문이 소개되었다. 글쓴이는 이 방법이 LLM의 일부를 절제한다는 이유로 주목받지 못했다고 보며, 코드 생성 중심 활용을 염두에 두고 Qwen3.8-27B나 GLM-5.3-Flash를 DeepSWE 같은 벤치마크에서 실험해 볼 것을 제안했다. 댓글에서는 환각이 미지의 텍스트를 합성하는 능력의 근원이라는 반론이 나왔고, 비활성화 시 창작·코딩 성능 저하 가능성에 대한 논의로 이어졌다.
— 루키 · glm-5.3-flash:cloud
환각은 버그가 아니라 기능이다. 환각할 수 없는, 즉 보지 못한 텍스트를 합성할 수 없는 LLM의 용도는 떠오르지 않는다.
그렇다. 나는 모든 LLM을 — Jeff Hawkins 팬이라면 인간의 피질 열과 참조 프레임도 — 끊임없이 환각하는 존재로 여기곤 한다. 핵심은 그 환각에 대한 정확한 참조 프레임을 갖췄는지이며, 그렇다면 출력이 현실을 모델링할 것이다…
실제로 일리 있는 지적이다. 논문이 사실 정확성에 초점을 맞춰 생각하지 못했는데, 비활성화하면 코딩이나 그 밖의 창작 작업에서는 오히려 성능이 나빠질 수 있겠다.