AI 위험에 관한 수많은 논의는 우리가 지킬 만큼 나름 쾌적한 현재를 갖고 있다고 전제하는 듯하다. 그러나 그것은 내 경험이 아니다. 일자리를 찾는 일은 잔혹하다. AI는 내가 얻으려 하는 바로 그 일자리에 압박을 가하고 있다. 나에게는 기술이 있고, 일하고 싶으며, 유용한 무언가에 기여할 수 있다고 믿는다. 그러나 그 어느 것도 자동으로 월세를 낼 수 있게 해주지는 않는다.

한편 모든 것이 끊임없이 입장료를 요구한다. 월세, 신용카드, IRS(국세청), 식료품. 고양이가 아프면 돈을 내고, 집에 무언가 고장 나면 돈을 내고, 이동이 필요하면 돈을 낸다. 수입이 늘어난다고 반드시 기대했던 안정감이 오는 것도 아니다. 1만 달러에서 1만 5천 달러로 오르는 것은 세금, 빚, 연체된 지출, 미뤄둔 모든 것들이 그 차액을 잠식하기 시작하기 전까지는 혁명처럼 들린다. 겨우 따라잡았는데도 여전히 안전하다고 느껴지지 않는다. 사람들은 자본 축적을 이야기하지만, 나는 예상치 못한 청구서가 모든 것을 무너뜨리지 않는 지점에 도달하려 애쓰고 있다. 그렇게 버티는 동안 생물학은 시계를 돌린다. 겨우 감당할 수 있게 됐을 때 그 세월은 돌아오지 않는다.

그래서 그렇다, 나는 빠른 테이크오프를 원한다. 점점 덜 필요해지는 시장에 내 노동을 계속 팔지 않아도 생존할 수 있는 세계의 가능성을 원한다. 보편적 소득이나 필수재에 대한 보편적 접근을 원하고, 내 생전에 의미가 될 만큼 빠른 의학 발전을 원한다. 이런 것들이 AGI에서 자동으로 따라오지 않는다는 것을 안다. 분배가 중요하고, 소유가 중요하고, 정렬(alignment)이 중요하다. 초지능 시스템이 마법처럼 UBI 법안을 통과시키지는 않는다. 그러나 '속도를 늦추자'는 말에는 아주 기본적인 질문에 대한 답이 따라와야 한다. 기다리는 동안 우리는 어떻게 되는가?

수백만 달러를 투자해 놓고 안정적인 삶을 사는 사람에게는 10년의 추가 대기가 합리적인 예방책처럼 들릴 수 있다. 물살을 겨우 견디며 버티는 사람에게 같은 10년은 전혀 다른 의미다. 그리고 그렇다, 나는 급진적으로 더 나은 미래의 기회를 위해 정렬되지 않은 ASI의 일정한 위험을 감수할 용의가 있다. 내 의지만으로 다른 모든 사람이 어떤 위험을 감수해야 하는지 정해지지 않는다는 것을 이해한다. 그러나 기다릴 만큼 여유로운 사람들의 선호가 나머지 사람들이 얼마나 더 고생해야 하는지를 결정해서도 안 된다. 내 위험 허용도에 동의하지 않아도 된다. 다만 현상 유지를 안전하고 중립적인 기본값으로 취급하지는 말라. 너무 빨리 움직이는 것의 위험을 논의한다면, 너무 느리게 움직이는 것의 대가를 누가 치르는지도 논의해야 한다.