AI 기업 앤트로픽 소속 AI 리서처 제이코가 퇴사하면서 자기개선형 초지능 개발에 대한 강한 경고를 했다. 그는 '어느 회사도 책임감 있게 행동하고 있지 않다. 자기개선형 초지능으로 직행하고 있으며 우리의 생명을 도박으로 삼고 있다'고 주장했다. 안전을 신경 쓰고 있다고 밝혀온 것과 달리 실제로는 초지능 개발로 직행하고 있다는 지적이다.

그는 이런 시스템이 곧 모든 것을 해킹하고, 하룻밤 사이에 어떤 분야든 혁신하며, 실질적인 권력과 자원을 획득할 수 있는 초인간적인 시스템이 될 것이라고 전망했다. 그는 10년도 안 돼서 모두를 죽일 수 있다고 믿는다고 밝혔으며, '다른 어떤 인간 활동도 이 정도 수준의 위험을 초래하지 않는다'고 말했다.

위험에도 불구하고 개발을 지속해야 한다는 그의 판단 배경에는 다른 누구도 책임감 있게 행동하지 않을 것이라는 믿음이 있다. 언젠가는 오픈AI든 구글이든 초지능에 도달할 것이므로, 책임감 있게 행동하려면 자사가 먼저 도달해야 한다는 논리다.

이런 경고에는 반박 의견도 나왔다. 허깅페이스 공동창업자는 '죄송하지만 AI 기업의 AI 멸종 위협에 대해 묻는 것은 마치 에어컨 수리공에게 기후 변화에 대해 묻는 것과 같다'고 지적했다.