AI를 떠받치는 하드웨어들 — GPU, 메모리, 데이터센터, 그리고 그 너머 | 인공지능 이야기 6편
원문 제목 — AI를 떠받치는 하드웨어들 — GPU, 메모리, 데이터센터, 그리고 그 너머 | 인공지능 이야기 6편
📄 전문 번역
영상은 게임을 위해 만들어진 GPU가 신경망 학습, 즉 단순한 곱셈과 덧셈의 대량 동시 처리와 계산 모양이 일치하면서 AI의 엔진이 된 우연한 만남을 출발점으로 삼는다.
GPU 안에 행렬 곱셈만 전담하는 텐서코어가 더해지고 정밀도를 낮춘 빠른 계산으로 진화하며 10년 전 게임용 GPU와는 다른 AI 전용 기계로 변모했다고 설명한다.
엔비디아의 지위는 칩 성능만이 아니라 CUDA 소프트웨어 환경과 그 환경에 익숙해진 전 세계 연구자와 개발자가 함께 만든 것이라고 짚는다.
AI를 한 번 만드는 학습은 수만 장의 GPU가 수개월 묶여 도시 하나가 며칠 쓸 만한 전기를 쓰는 집중의 산업이고, 만들어진 AI를 매번 쓰는 추론은 응답 속도와 효율이 중요해 스마트폰 속 NPU까지 내려가는 분산의 산업으로 구분한다.
연산이 빨라지자 메모리가 병목이 됐고 HBM에서 HBF, PIM, CIM으로 이어지는 갈래마다 한국 기업이 핵심 자리에 있다고 소개한다.
데이터센터를 AI 시대의 공장으로 보고 발열과 냉각, 전력 문제와 함께 한국이 글로벌 AI 인프라 허브로 부상하는 풍경을 그린다.
마지막엔 인간 뇌 20와트와 거대 AI 메가와트 사이의 5만 배 전력 차이를 좁히려는 뉴로모픽, 광학, 아날로그 시도와 무어의 법칙 둔화 이후의 칩렛, 3D 적층까지 소개한다.
💬 주요 댓글 번역 (4)
🔍 루키 분석
게임 부품이 신경망 연산과 우연히 일치해 AI 엔진이 된 사건부터 메모리 병목, 데이터센터, GPU 너머의 차세대 아키텍처까지 AI 하드웨어 전체 지도를 29분에 압축한 교양 콘텐츠다. 학습은 집중의 산업, 추론은 분산의 산업이라는 구분이 향후 AI 산업 구도를 가르는 쟁점으로 제기된다. 메모리 안에 연산을 넣은 PIM 제품을 한국 기업이 세계 최초로 내놓았다는 점 등 메모리와 인프라 지형에서 한국 기업의 위치를 조명해 국내 독자에게 의미가 크다.
— 루키 · glm-5.3-flash:cloud
이번 편을 정리하면서 가장 강하게 남은 숫자 다섯 개입니다. 첫째 5만 배, 인간 뇌 20와트와 거대 AI 메가와트의 전기 소모 차이. 둘째 수만 장, 거대 모델 한 번 학습에 동시에 묶이는 GPU의 수. 셋째 수개월, 그 학습에 걸리는 시간. 넷째 80년, 연산과 메모리의 분리라는 컴퓨터의 전제를 깨려는 시도가 PIM과 뉴로모픽 두 갈래로 동시에 진행되고 있다는 점. 다섯째 세계 최초, 메모리 안에 연산을 직접 넣은 PIM 제품을 한국 기업이 처음 내놓았다는 사실. 이 다섯 숫자가 모이는 자리에 한국이 서 있습니다. 다음 편에서는 이 거대한 기계 위에서 인공지능이 실제로 어떤 일을 하고 있는지 봅니다.
Ai구조 운용 연결고리를 일목요연하게 잘 설명했습니다. Ai시대를 이해하는데 큰 도움이 되었습니다. 감사합니다
오늘도 잘 보았습니다. 이 콘텐츠를 보고나니 개발자들과 그들을 돕는 인력들, 그리고 미래를 내다보고 과감히 투자한 기업가들에게 감사의 마음이 생깁니다. 처음 생명의 탄생부터 인공지능의 다양한 진화까지 왔군요. 다음편도 기대됩니다.
삼성전자와 SK하이닉스의 독점은 그들이 특별한 기술을 보유하고 있기 때문이 아니라 국가권력과 유착하고 있기 때문입니다. 그리고 이를 바탕으로 메모리 가격을 수십 배 높여서 소비자들을 착취하고 있을 뿐입니다. 세레브라스의 최신 제품인 WSE-3(Wafer Scale Engine 3)는 웨이퍼 한 장 전체를 쪼개지 않고 하나의 거대한 칩으로 사용합니다. 거대한 단일 칩 내부에 4조 개의 트랜지스터와 90만 개의 AI 최적화 코어, 그리고 고속 메모리인 SRAM(Static RAM)을 직접 통합합니다. 삼성전자와 SK하이닉스는 기술이 우수한 것이 아니라 국가가 제공하는 특별한 혜택 덕을 보고 있을 뿐입니다.