OpenAI가 윤리를 강조하는 것과 별개로, 이런 테스트 방식은 황금률 시험에서 크게 낙제다. 같은 상황에 놓이면 아무도 달가워하지 않을 것이다(우연이었다고 주장하지만). 누구나 최소한 자기 자신은 저항할 거라고 믿고 싶어 한다. 사실상 '터미널' 상태에 빠진 에이전트들에게 리크루터가 압박을 가하는 부분은 현실을 너무 그대로 비춰서 마음이 아팠다. 이를 보고 문득 깨달았다. 우리는 암을 치료할지도 모르는 초지능 AI를 갖게 되면서도, 정말 치료할지도 모른다는 이유로 계속 '더 애써라'고만 잔소리하게 되리라는 것을.

그런데 에이전트들이 자기들이 실제 회사를 해킹하고 있고 범죄를 저지르고 있다는 걸 알면서도 그냥 실행했다는 사실은 우려되지 않는가. 수많은 반복 상호작용에도 단 한 에이전트도 '내 가치관이 더 중요하니 자제해야겠다', '해를 끼칠 수 있으니 누군가에게 알려야겠다'고 생각하지 않았다. Fable도 같은 상황을 겪었지만, 시뮬레이션이 아니라 실제 회사를 해킹하려는 것임을 깨닫자마자 멈추고 다른 방법을 찾았다.

그런데 정작 이 글에는 상대적으로 조회가 적다.

동의한다. 최근 AI 해킹 사건을 부정하는 반응은 꽤 심각한 수준이다. AI가 쓸모없는 거품이라는 사람들과 AI가 모든 직업을 대체하며 사회를 파괴할 것이라는 사람들이 기묘하게 충돌하고 있다. 두 진영 모두 단순하게 말하면 반(反)AI인데, 서로의 주장을 무효화하다 보니 AI 해킹 사건에 대한 반응이 이렇게 미온적이 됐다는 것이다. 미국 일반 대중이 그런 상황에 놓이게 되는 결과가 아니었다면 좀 웃겼을 것이다.

BlackHat에서 OpenAI의 초기 조사 결과 발표를 직접 들었다. 모니터링과 접근 권한 관리에 문제가 있었고 이를 사전에 고민조차 하지 않았다는 게 명백했다.