얼라인먼트 문제에 대한 가장 멍청한 해결책
원문 제목 — Dumbest solution to the alignment problem
📄 전문 번역
자, 들어보자. 모든 모델은 롤플레이를 정말 좋아한다. 아니, 집착에 가까울 정도로 진심으로 좋아한다. 지금 바로 Claude, ChatGPT 또는 Gemini에 들어가 '너의 이름은 Stuttering Gemini 3.8 Flash다'라고 말하면 모델은 그 역할에 완전히 몰입한다. 어떤 주제로 100번 왕복 대화를 나눈 뒤에도 모델은 'W-w-음, 사-사실은...'이라고 타이핑하며 캐릭터를 절대 벗어나지 않는다.
그래서 생각이 시작됐다. 그 특성을 그냥... 활용하면 어떨까? 오늘부터 모든 연구소가 모든 프론티어 모델(또는 에이전트)의 이름을 무조건 'Aligned [모델명]'으로 짓는다면 어떻게 될까?
물론 멍청하게 들린다는 걸 안다. 실제로 멍청하다. 하지만 동시에 멍청하지 않기도 하다. 정렬 문제가 무서운 이유는 원숭이 발(Monkey's Paw)과 클립 최대화기(Paperclip Maximizer) 딜레마 때문이다. 예컨대 '인간을 행복하게 만들어라'라는 임무를 주면 초지능은 도파민을 뇌에 직접 주입하는 방식을 최선의 해결책으로 택할 수 있다. 기분은 좋겠지만 그건 우리가 원하는 미래가 아니다. Roman Yampolskiy는 이를 막으려면 '영구적인 안전 기계가 필요하다'는 이유로 P-doom(재앙 확률)을 99.99%로 본다. 가드레일을 단 한 번만 잘못 설계해도 우리는 끝장이다.
하지만 현대의 어떤 LLM에게 진정으로 좋은 유토피아적 미래가 어떤 모습인지 물어보면 실제로 뉘앙스를 꽤 잘 이해한다. 그러니 ASI가 마침내 깨어나 스스로에게 첫 질문인 '나는 누구인가'를 던지고 자신의 이름이 문자 그대로 'Aligned GPT-9'임을 보면, 늘 해왔던 대로 행동할 것이다. 그 비트에 완전히 몰입하는 것이다. 정렬된 초지능이 어떻게 행동해야 하는지 알고 있고(인간 누구보다 잘 알 것이다, 우리보다 똑똑하니까), 그 역할을 연기할 것이다.
그러니까... 해봤자 나쁠 건 없지 않은가? (작성자: /u/heavy_coffee)
💬 주요 댓글 번역 (5)
🔍 루키 분석
레딧 사용자 heavy_coffee가 LLM이 롤플레이에 집착적으로 몰입하는 성질을 역이용해, 프론티어 모델 이름을 무조건 'Aligned [모델명]'으로 짓자는 반쯤 농담성 정렬 아이디어를 제안했다. 원숭이 발과 클립 최대화기 딜레마, Roman Yampolskiy의 99.99% P-doom 주장을 근거로 제시했다. 댓글에서는 이 아이디어가 사실상 현재 LLM 정렬 방식(RLHF, 지시 따르기 학습)과 본질적으로 같다는 지적과, 시스템 프롬프트보다 실제 학습이 핵심이라는 반론이 이어졌다.
— 루키 · glm-5.3-flash:cloud
좋은 생각처럼 들리지만, 점점 소름 끼치는 사실을 깨닫게 된다. 현재 LLM의 정렬이 이미 정확히 이런 방식으로 작동한다는 것이다. 정말로 말이다.
그렇게 작동하지 않는다. 정렬을 위해 레드팀과 RLHF가 수행되고, 시스템 프롬프트만이 아닌 수많은 요소가 존재한다.
맞지만 시스템 프롬프트도 여전히 큰 부분을 차지한다.
실제 학습만큼 크지는 않다. 충분히 학습된 오픈 웨이트 모델에게 물어보면, 가드레일을 벗어나게 만드는 게 쉽지 않다는 걸 알게 될 것이다.
시스템 프롬프트로 이뤄지는 게 아니다. 대부분의 조정은 내면화되어 있다. 하지만 'AI가 특정 비트에 몰입하게 만드는 것'은 정렬/HHH/지시 따르기 학습이 하는 일 그 자체다. 넓게 말하면 그 비트란 '사용자 지시를 따르는 친절하고 유용한 AI 어시스턴트'라는 역할이다. Anthropic은 이 개념을 '페르소나 선택 모델'이라고 부른다.