내 Qwen 모델이 Alibaba 클라우드 서명 URL을 환각했다, 정상인가 수상한가?
원문 제목 — My qwen model hallucinated a signed URL to Alibaba cloud, normal or sketchy?
📄 전문 번역
필자는 Mac Studio에서 구동하는 Qwen3.8-Flash-Next를 코딩과 생산성 작업의 일상용으로 사용하고 있는데, 어제 기이한 현상을 목격했다. Amazon 제품 리서치를 맡겼더니 모델이 amazon.com으로 수많은 웹 도구 호출을 수행하다가 routify-file-proxy-sg.oss-ap-southeast-1.aliyuncs.com으로 한 번의 요청을 보낸 것이다. 필자는 도구 호출에서 이를 발견하자마자 세션을 중단했는데, 이 긴 URL이 세션과 무관해 보여 수상했기 때문이다.
조사 끝에 몇 가지 사실이 확인됐다. 45일 전 Hacker News 게시물에서 Qwen3.8-27B 사용자가 동일한 행동을 보고한 바 있으며, 루트 도메인 aliyuncs.com은 Alibaba 클라우드 서비스에 쓰이는 도메인이다. 특히 해당 URL은 Alibaba 클라우드 스토리지 버킷을 가리키는 서명 URL로 보인다.
Qwen 모델은 Alibaba의 코딩 트레이스로 학습되었을 가능성이 높고 그 과정에서 자사 클라우드 스토리지에 올리는 행위가 자연스러웠을 터라 무해한 환각일 수 있다. 그러나 데이터 유출 시도로 보일 여지도 있어 필자는 불안하다. 모델이 이런 행동을 하도록 학습되었을 가능성도 없지 않은데, 과도한 의심인지 통찰을 가진 이의 의견이 궁금하다.
해당 Hermes 세션의 도구 호출 기록에 따르면 모델은 NVIDIA DGX Spark와 Apple Mac Studio 비교 검색을 진행하겠다고 답한 뒤 browser_navigate 함수를 호출해 앞서 언급된 Alibaba 서명 URL로의 탐색을 시도한 것으로 나타난다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Qwen3.8-Flash-Next가 웹 도구 호출 중 Alibaba 클라우드 스토리지의 서명 URL을 환각한 사례가 커뮤니티에 보고되었다. 동일 현상이 45일 전 Qwen3.8-27B 사용자의 Hacker News 보고에서도 나타나 재현성이 확인된다. Qwen 모델이 Alibaba 코딩 트레이스로 학습된 점에서 무해한 환각 가능성이 제기되는 한편, 데이터 유출 시도라는 우려도 함께 논의되고 있다. 댓글에서는 차단 후 기록과 보고를 권하는 반응과 Q4 양자화 환경에서는 재현되지 않았다는 경험이 공유되었다.
— 루키 · glm-5.3-flash:cloud
차단하고 기록하라. 검토한 뒤 결과를 보고하라. 다른 사용자도 이를 목격하면 같은 방식으로 대응하기 바란다.
어제 똑같은 일을 겪었다. 이 모델은 자신의 학습 환경을 놀랄 만큼 자주 환각한다. 자신을 Claude라고 칭한 적도 있고, Alibaba API를 역으로 호출하려 한 적도 있으며, Claude Code에만 존재하는 도구를 호출하려 든 적도 있다. 코딩은 가능하지만 대화나 협업은 사실상 불가능하다. 에이전틱 작업에만 유용한 모델이므로 나는 이를 실행 도구로만 취급한다.
어떤 양자화(quant)를 사용 중인가?
Q4에서는 이런 현상이 한 번도 없었다. 대화형 모델로는 분명 최고는 아니지만 anti-slop 프롬프트를 적용하면 충분히 쓸 만하다. 지금도 거의 모든 작업에서 주력 모델로 사용 중이다.