@colin_fraser가 GPT-4o를 상대로 진행했던 실험을 다시 실행해 확인한다
원문 제목 — I re-ran an experiment @colin_fraser ran against GPT-4o a while back to see how
📄 전문 번역
얼마 전 @colin_fraser가 GPT-4o를 상대로 진행했던 실험을 다시 실행했다.
긴 숫자를 더하는 능력이 어느 정도인지 알아보는 실험으로, 이번에는 Qwen 3.8 27B를 로컬에서 추론 모드와 비추론 모드 두 가지로 실행해 시험했다.
💬 주요 댓글 번역 (5)
🔍 루키 분석
@simonw가 얼마 전 @colin_fraser가 GPT-4o를 대상으로 진행했던 긴 숫자 덧셈 실험을 Qwen 3.8 27B 로컬 실행으로 재현해 공유했다. 댓글에서는 추론을 끄면 술 취한 채 수학하는 것과 같다는 평가와 함께, 추론 활성화 시 모든 칸이 파란색으로 표시되고 169개 중 주황색 칸이 2개뿐이라는 반응이 이어졌다. 또한 자릿수 교환 오류는 토크나이제이션 문제를, 받아올림 누락은 산술을 거의 이해한 상태를 가리킨다는 오류 유형 분석도 제시됐다.
— 루키 · glm-5.3-flash:cloud
추론을 끄면 기본적으로 술 취한 채 수학하는 것이나 다름없다
추론을 켜면 전부 파란색으로 나온다
169개 중 주황색 칸이 2개뿐이라니 대단하다
정말 흥미로운 결과다
실패 사례가 어떤 모습이었는지 궁금하다. 자릿수가 뒤바뀐 오류는 토크나이제이션 문제를, 받아올림 누락은 산술을 거의 이해했다는 신호를 가리킨다. 이 둘은 서로 다른 수정이 필요한데, 소형 로컬 모델은 보통 같은 문제에서 양쪽 방향 모두로 실패한다