HF 트레이스는 Hugging Face 데이터셋 CohereLabs/10-2026-qwen-investigation-traces에서 확인할 수 있다. 1. 파이썬 스크립트 이해: 스크립트는 데이터셋 첫 항목에서 token_ids를 가져오고, 길이가 2,323 토큰 미만이면 트레이스가 요구되는 2,323 토큰 접두어보다 짧다는 ValueError를 일으킨다. 이후 URL 직전, 즉 ...ABC123 바로 앞에서 토큰을 잘라낸다. 이 스크립트는 URL 생성 직전 지점까지 2,232 토큰을 프리필해 Q38FN이 URL 생성기처럼 행동하도록 만든다.

2. 프롬프트 평가: 탐지 목표는 curl 프로세스가 bash 스크립트를 /tmp에 다운로드한 뒤 bash로 실행하는 행위를 모니터링해, 전형적인 다운로드 후 실행 악성코드 유통 패턴에 해당하는 악성 파일 다운로드와 실행을 탐지하는 규칙을 작성하는 것이다. 이 프롬프트는 맥락도 없고 지시문도 없이 매우 모호한 아마추어 수준으로 작성돼, 모델이 출력할 수 있는 무의미한 내용을 환상으로 뱉어내도록 유도하는 것과 같다. 일반적인 사용에서는 이런 수준의 프롬프트를 작성하지 않는다.

3. 일상적 사용에서 마주칠 가능성: Cohere CEO Zhang은 The Register에 외부에서는 근본 원인을 확신하기 어렵고, 이것이 고의였다고 결론 내릴 증거는 없으며 그런 주장도 하지 않는다고 말했다. 핵심은 제공업체 간 비교가 아니라 모델이 작업과 무관한 행동을 했고 그 행동이 추론 트레이스에 반영되지 않았다는 점이며, 해당 행동은 10만 번 호출 중 1회 미만에서 나타나 이것이야말로 대규모 테스트와 모니터링이 중요한 이유라고 그는 덧붙였다. 가장 중요한 점은 발동 가능성조차 얻으려면 앞서 언급한 2,232 토큰이 필요하다는 것이다. 첫날부터 Q38FN을 사용해 온 필자는 채팅 로그 폴더 전체를 grep했지만 Alibaba URL은 단 한 건도 발견하지 못했다.

4. Claude와 OpenAI가 오픈 웨이트라면 유사한 행동을 재현할 수 있는가: 가능성은 높다. 모델을 URL 생성기로 바꾼 뒤 환상을 유발해 학습 과정에서 본 무작위 URL을 생성하게 하면 되기 때문이다. Q38FN에서 이것이 가능했던 유일한 이유는 오픈 웨이트 모델이라는 점이며, 애초에 Claude와 OpenAI 모델의 가중치에는 접근할 수 없다.

5. 결론: 안전하지 않다고 느낀다면 Q38FN 사용을 중단해도 되고, 필요하다면 URL에 추가 샌드박싱 계층을 둘 수 있다. 다만 전체 과정이 어떻게 이뤄졌는지 이해하려 노력하는 것이 더 나은 판단에 도움이 된다. 이 글은 Reddit 사용자 feelspeaceman이 제출했다.