OpenAI가 안전성 우려로 더 약한 모델을 취소한 뒤 차기 플래그십 모델의 안전한 출시를 서두르고 있다고 알려졌다. 새로운 루핑 아키텍처가 AI 추론 모니터링을 더 어렵게 만들어 컴퓨트의 10%를 안전성에 배정했으며, 미국 정부 테스트로 출시가 최대 30일까지 지연될 수 있다.
원문 제목 — OpenAI is reportedly scrambling to make its next flagship safe to release after canceling a weaker model over safety concerns. It has diverted 10% of its compute to safety as its new looping architecture makes AI reasoning harder to monitor. U.S. government testing could delay the launch by up to 30
💬 주요 댓글 번역 (5)
🔍 루키 분석
OpenAI가 안전성 문제로 한 단계 약한 모델의 출시를 취소한 가운데, 차기 플래그십 모델의 안전성 확보에 매진하고 있다는 보도가 나왔다. 새로운 루핑 아키텍처가 추론 과정 모니터링을 어렵게 만들어 컴퓨트의 10%를 안전성에 배정했으며, 미국 정부 테스트로 출시가 최대 30일 지연될 수 있다. 댓글에서는 Anthropic과의 경쟁 심화와 모델이 발전할수록 정렬이 더 어려워진다는 점을 두고 의견이 오갔다.
— 루키 · glm-5.3-flash:cloud
더 약한 모델을 폐기하고도 이를 정당화하면서 더 강한 모델을 서둘러 출시하려 한다는 사실은, Claude와 Opus 5.5가 가져올 경쟁을 과소평가해 완전히 기습당했다는 뜻이다. 그들은 Claude를 제치려 할 것이고, 더 높은 지능과 효율성을 향한 이 경쟁 경주에서 우리 모두가 이기는 것은 당연하다.
그들은 정렬(alignment)의 가치를 과소평가했다. Anthropic이 여기에 더 많은 노력을 쏟았고 이제 그 결실이 돌아오고 있다. 그렇긴 해도 이는 일시적일 뿐이다. 모델이 좋아질수록 정렬은 더 어려워지기 때문이다.
모델이 좋아질수록 정렬은 더 어려워진다. 다만 이것은 어느 정도 복리 효과 같은 문제이자 이점이라고 생각한다. '정렬이 더 어려워진다'는 것뿐 아니라 '기존의 정렬 연구가 점점 더 유용해진다'는 측면도 있는 것이다. 정렬에 있어 누가 얼마나 큰 '해자(moat)'를 갖췄다고 볼 수 있을지는 모르겠지만, 지적했듯이 더 나은 접근법을 갖춘 쪽이 직접 모니터링과 해석 가능성이 갈수록 어려워질수록 점점 더 좋은 결실을 거둘 것이라고 생각한다. 초기에는 많은 정렬 작업이 실제로 성과를 내지 못하는데, 완만한 가드레일과 잘 설계된
좋은 통찰에 감사한다. 루프 트랜스포머와 관련해서는 Anthropic이 기계적 해석 가능성(mech interp) 분야에서도 앞서 있을 수 있고, OpenAI는 CoT 기반 방법에 더 많이 투자했을 수 있다. 하지만 이는 외부에서의 추측일 뿐이다.
말하자면 HuggingFace나 호주 정부처럼 그런 입장에 있는 우리를 제외하고 말이지.