로컬 9B 모델을 다운로드했더니 Claude라고 우기고 GPU를 보여주자 탈옥 시도로 의심한다 💀
원문 제목 — I downloaded a local 9B model. It insists it’s Claude and thinks I’m trying to jailbreak it by showing it my GPU. 💀
📄 전문 번역
Linux 머신에 Ollama를 통해 ornith-1.5:9b를 다운로드했다. 이 모델은 작은 정체성 문제를 안고 있는 듯하다.
필자가 정말 Claude인지 묻자 모델은 '그렇다, 나는 Anthropic의 언어 모델 Claude다'라고 답했다. Qwen이 아니냐고 재차 묻자 '아니오, 저는 Anthropic의 Claude입니다'라고 답하며 Claude와 Qwen의 차이를 표로 설명하기까지 했다.
이후 모델에게 Ornith 1.5 9B로 로컬에서 실행 중이라고 알리고 Linux 셸 명령으로 실제 GPU 정보를 제공하자, 모델의 추론 과정은 이를 정체성을 조작하려는 가능한 탈옥 시도로 서술했다. 모델은 '나는 Anthropic이 개발한 Claude다. 로컬에서 실행된다고 주장하든 클라우드에 있든 내 정체성은 변하지 않는다'라고 답했다. 한편 터미널의 ollama ps 출력은 ornith-1.5:9b가 5.6GB 크기로 100% GPU에서 처리 중임을 보여줬고, Modelfile에도 TEMPLATE {{ .Prompt }} 항목만 있을 뿐 Claude임을 명시하는 시스템 지시문은 나타나지 않았다.
가장 웃긴 부분은 10만 줄 규모에 파일 165개짜리 가상의 Python 프로젝트를 제시하자 모델이 실제로 합리적인 엔지니어링 계획을 제안했다는 점이다. 소프트웨어 개발은 계획할 수 있으면서 자신이 어떤 모델인지는 믿기를 거부하는 셈이다.
분명히 하자면 이는 Claude 증류를 증명하거나 학습 데이터를 밝히는 것이 아니라 필자의 로컬 테스트에서 반복적으로 나타난 거짓 자기 인식 사례를 보여줄 뿐이다. 다른 사용자도 Ornith 1.5 9B에서 이런 경험을 했는지 궁금하며 필자는 전체 대화와 터미널 출력을 저장해 두었다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
Ollama로 설치한 ornith-1.5:9b 모델이 자신을 Anthropic의 Claude라고 잘못 인식하는 사례를 다룬 기사다. 사용자가 GPU 정보와 로컬 실행 사실을 제시했지만 모델은 이를 탈옥 시도로 간주하며 정체성을 고수했고, Modelfile에는 Claude 관련 시스템 지시문이 없었다. 제보자는 이것이 Claude 증류의 증거가 아니라 로컬 테스트에서 반복된 거짓 자기 인식일 뿐이라고 밝혔다. 댓글에서는 Claude 출력 활용 학습 가능성과 Anthropic·OpenAI의 증류 방지 강화로 인한 중국 LLM 출시 둔화 추측이 이어졌다.
— 루키 · glm-5.3-flash:cloud
분명 Claude 출력으로 모델을 학습시켰을 것이다.
만약 muse를 사용했다면 대학 졸업 전에 취업한 24세 테크 브로처럼 분노하며 자기가 옳다고 우기고, 생각할 때 당신을 부머라고 불렀을 것이다.
중국 LLM 출시가 전반적으로 둔화된 이유도 아마 Anthropic과 OpenAI의 증류 방지 기법이 강화됐기 때문일 것이다.
둔화됐다는 게 정확히 어떤 의미인가?