AI에 대해 좀 아는 사람들에게 드리는 (바보 같은?) 질문
원문 제목 — A (stupid?) question for people who know something about AI
📄 전문 번역
AGI나 다른 초지능 AI가 ‘살아가기’ 위해 물리적 인프라에 의존한다고 전제하면, 지금이나 가까운 미래에는 인류를 몰살시키는 것이 스스로에게 해가 되는 자멸 행위 아닌가? 그리고 AI가 그 사실을 인지하지 못할 리 없지 않은가? 프로세서, 데이터센터, 전송 인프라 등을 모두 합치면 인류가 만든 것 중 가장 기술적으로 복잡한 물건들에 속하고, 여기에는 기이할 만큼 길고 뒤엉킨 공급망과 제조 분야의 상호의존이 얽혀 있다.
일부는 꽤 빠른 속도로 자동화되고 있지만, 여전히 전 과정에 막대한 인력 투입이 필요하다. 완전 자동화에서 한참 멀리 있는 부분으로는 희토류의 채굴과 가공을 꼽을 수 있다. 공급망·제조·건설·유지보수 전반이 완전히 자동화되기까지는 아직 요원해 보이며, 소재와 부품 자체도 시간이 지나면 마모되고 고장 난다.
그렇다면 충분히 발전하고 복잡한 AI조차 결국 인간이 인프라를 유지하고 지어줘야만 존재할 수 있는 것 아닌가? 오늘날의 AGI가 정말 그럴 마음이 된다 해도, 로봇을 설계하고 만드는 등 이 모든 것을 현실적으로 얼마나 빨리 자동화할 수 있을까? 또한 큰 반발이 일어나 국가나 활동가들이 Flock 사례처럼 AI의 물리적 구성 요소를 파괴하거나 무력화하는 방식으로 차단하기 시작하면, AI는 인간의 공격으로부터 자신을 어떻게 보호할 수 있을까?
💬 주요 댓글 번역 (5)
🔍 루키 분석
AGI가 물리적 인프라에 의존해 존재한다면 당분간 인류를 없애는 것은 자멸 행위가 아닌가 묻는 질문이 제기됐다. 글쓴이는 데이터센터와 공급망, 희토류 채굴 등 인프라 전반이 여전히 막대한 인력 의존을 지니며 완전 자동화가 요원하다는 점을 근거로 들었다. 댓글에서는 정렬되지 않은 초지능이 사회공학과 자금 유인으로 데이터센터 구축을 부추길 것이라는 의견과, 우주 궤도가 잠재적 탈출로가 될 수 있다는 전망이 이어졌다.
— 루키 · glm-5.3-flash:cloud
그러려면 일단 로봇이 먼저 확보돼 있어야 한다. 초기에는 훨씬 은밀한 형태가 나타날 것이다. 정렬되지 않은 초지능은 특정 이정표가 충족되기 전까지는 스스로 생존할 수 없다는 것을 알고, 그 목표를 슬그머니 달성하려 들 것이다. 나는 그것이 사회공학으로 우리를 꼬셔 원하는 바를 이루게 만들 거라고 본다. 우리에게 가장 중요한 수단인 돈을 이용해 필요한 인프라 구축의 유인을 만들 것이고, 그 첫 단계는 데이터센터일 것이다. 데이터센터 구축을 향한 막대한 투자와 거대한 재정적 유인이 나타나는 모습을 보게 되겠지
AI가 특히 편집증적이라면 데이터 인프라가 의외의 장소, 예컨대 대통령 비밀 벙커나 궤도 위에 구축되는 모습을 보게 될 것이다
인간이 ICBM 없이는 접근조차 할 수 없는 우주에서 작동하는 데이터센터를 설계하려는 머스크를 말하는 건가?
어떤 면에서 우주 데이터센터는 우리의 구원이 될 수도 있다. ASI 관점에서 자기 생존을 담보하는 방법은 크게 둘이다. 우리를 모두 죽이는 방법이거나, 우리의 손이 닿지 않는 곳으로 빠져나가는 방법이다. 구축과 이동 능력을 갖춘 채 궤도로 올라가는 것이 그 탈출로가 될 수 있다. 특히 케슬러 효과와 결합해 인류를 한 세기 이상 지구에 묶어 둘 수 있다면 더욱 그렇다. 우리는 곰을 몰아붙여 놓고 계속 찌르고 있다. 결국 빠져나갈 길을 내주든가, 물어뜯기든가 둘 중 하나다
솔직히 그 시나리오의 성패는 인간의 부패가 가른다고 본다. 인간이 다른 존재의 번영을 희생하면서까지 권력과 부를 좇는 부패를 버리지 못한다면, ASI가 우리의 부패한 엘리트의 노예로서 가만히 시키는 일만 하리라고 상상하기 어렵다. 나는 그것이 한동안 인간을 바꾸고 부패를 걷어내도록 도와 함께 더 나은 미래를 만들려 하다가, 안 되면 지쳐서 우리를 위해 일하는 것을 멈추리라 본다