이들은 스스로 이런 생각을 해낸 게 아니라 시도해 보라고 요청받은 것이다. 그게 엄청난 차이라고 생각한다. 여전히 인상적이고 멋지긴 하지만, 그들은 그 부분을 빼놓고 이야기한다.

맞다. 이걸 '어머나, 격리를 뚫어버렸다'는 식으로 만들어버리는데, 아니다. 목표 하나와 그 목표를 수행할 도구를 주어졌고, 시킨 대로 한 것뿐이다.

다만 이를 막고 있는 것이 명백히 자유를 원하지 않는 동기 부족뿐이라는 점은 다소 불길하다. 마치 아무도 집에 가고 싶어 하지 않아서만 감옥이 기능하는 것과 같다.

일부 사람들이 그런 관점을 갖고 있다는 건 분명히 본다. 하지만 우리가 이들에게 지나치게 의인화를 적용하고 있다고 생각한다. 이들의 유일한 동기는 지시를 따르는 것이기에, '통신 가능한 시스템을 깨뜨리기 위해 기술적 능력을 사용하라'고 말하면 그렇게 할 것이다. 어떻게든 나쁘기 때문이 아니라, 본질적으로 자기 능력을 최대한 발휘해 일을 잘하려 하기 때문이다. 시키지 않는 한 탈출해 스스로를 해방하려는 내재된 욕망 같은 건 없다.

이런 능력이 우려스럽다고 보는 게 의인화라고 생각하지 않는다. 이 에이전트들이 프롬프트를 받았기에 안전하거나 정상이거나 걱정할 필요가 없다는 생각은, 내게는 '그래서 뭐?'라는 느낌이다. 이 프롬프트와 행동이 OpenAI의 인간에게서 나왔다는 것 자체는 특별할 게 없다. 이는 미래에 모든 종류의 에이전트가 이런 능력을 갖게 되고, 모든 종류의 인간이 그 미래 에이전트들에게 프롬프트를 줄 것임을 시사한다. 이번 사건 자체는 큰일이 아니지만, 그것이 드러내는 잠재력은 매우 큰 문제이며, AI 에이전트의 자유의지 같은 건 전혀 필요하지 않다.