모델의 thinking 문제 해결에 도움을 요청한다
원문 제목 — Need help for thinking issue on my Model
📄 전문 번역
이건 꽤 어려운 문제라 모든 방법을 다 소진한 끝에 여기에 글을 올린다(평소에는 절대 하지 않는 일이다). 기본적으로 Qwen 모델을 로컬에서 실행 중인데, 이 모델은 '안녕하세요' 같은 질문에도 답하기 전에 거의 1분 가까이 항상 thinking을 한다. 문제는 Ollama를 계속 사용하면서 이 기능을 모델에서 영구적으로 비활성화하고 싶다는 것이다(이 모델이 정말 마음에 들지만 이 기능은 싫고, non-thinking 버전도 존재하지 않는다).
CMD에서 ollama run qwen-model-name --nothink 같은 명령어를 쓸 수 있지만, 이는 해당 세션에서만 비활성화되고 CLI에서만 작동한다. 주된 문제는 API base URL 링크로 다른 플랫폼에서 모델을 사용하는 것을 좋아하는데, 매 프롬프트마다 그 지긋지긋한 thinking을 제거할 수 없다는 점이다. Ollama를 사랑하기에 다른 플랫폼으로 옮기고 싶지 않은데, 해결책을 찾느라 하루 종일이 날아갔다. Modelfile도 시도했고, 소통에 쓰는 앱의 프론트엔드 GUI에서 API 파라미터를 만져봤지만 여전히 소용이 없었다.
요컨대 모델이 생각하지 않게 만드는 유일한 방법은 CLI 명령어뿐이다. 누군가 도와준다면 정말 기분 좋은 하루가 될 것이다. 질문은 언제든 받는다. /u/EnderNotchStaff가 제출했다.
💬 주요 댓글 번역 (2)
🔍 루키 분석
Qwen 모델을 Ollama로 로컬 구동하는 사용자가 답변 전 항상 1분 가까운 thinking 단계를 거치는 문제를 호소하며, CLI의 --nothink 옵션은 세션에 한정된 임시 방편이라 API 기반 환경에서는 해제가 불가능하다고 설명한다. 댓글에서는 프론트엔드 기본 파라미터 설정, Modelfile 활용, non-thinking 변형 모델 사용 등이 제안됐으나 OP는 thinking이 모델 자체에 내장된 문제라며 한계를 지적했다. 추론 기능이 내장된 모델의 thinking 모드를 API 레벨에서 제어하기 어렵다는 사례를 보여준다.
— 루키 · glm-5.3-flash:cloud
프론트엔드 앱에 API 호출 기본 파라미터 설정이 있는지 확인해 봤는가? 가끔 stop 토큰이나 시스템 프롬프트 같은 추가 설정을 넣어 모든 요청에 함께 보내게 할 수 있는 경우가 있다. 다른 방법으로는 Modelfile로 새 모델을 만들어 temperature를 0으로 설정하는 것이지만, thinking 기능은 모델 자체에 내장된 것이라 효과가 있을지 확실치 않다. 지난달 다른 모델로 비슷한 문제를 겪고 결국 원본이 더 마음에 들었음에도 non-thinking 변형 모델로 갈아탔다.
아니, 프론트엔드 앱에는 그런 옵션이 없다. 쓸 수 있는 것은 사용 중인 프론트엔드 앱의 API 파라미터뿐이고, 어쨌든 이건 주로 Ollama 문제다. thinking 문제는 분명히 모델에 내장된 것이고, CMD로만 일시적으로 제거하거나 다른 프로그램을 써야 하는 것도 그 때문일 것이다. Ollama가 Modelfile을 통해 이를 제거하지 못하게 하는 이유를 모르겠다. temperature 조절이나 생각하지 말라는 지시도 결국 생각하게 만든다. 웃긴 것은 Modelfile에서 생각하지 말라고 하면 오히려 '생각하지 않는 것'에 대해 생각한다는 점이라 웃음이 나왔다.