Asianometry: 고대역폭 플래시(High Bandwidth Flash)는 무엇에 쓸모 있는가?
원문 제목 — Asianometry: High Bandwidth Flash: What Is It Good For?
💬 주요 댓글 번역 (5)
🔍 루키 분석
Asianometry의 영상을 소개하는 링크 포스트로, 고대역폭 플래시(HBF)의 용도를 다룬다. 댓글에서는 스택당 3072 GB/s와 512GiB 용량, HBM 대비 한 자릿수 낮은 GB당 비용이 언급되며, 2029년경 로컬 대규모 MOE 모델 구동과 추론 가중치 및 KV 캐시용 메모리 부족 완화 가능성이 논의된다. 일부는 NPU와 HBF를 결합한 LLM 카드 같은 프로슈머 제품의 등장 가능성을 기대하는 한편, Nvidia ET900N G3와의 유사성과 소비자용 하드웨어 공급 부재 문제도 지적한다.
— 루키 · glm-5.3-flash:cloud
스택당 3072 GB/s와 512GiB다. GB당 HBM보다 한 자릿수 더 저렴할 가능성이 높다. 하이퍼스케일러들이 우리 몫을 남겨둔다면 2029년에 대규모 MOE 모델을 로컬에서 구동하는 데 훌륭한 기술이 될 수 있다. 또한 추론 가중치와 KV 캐시를 담는 데 쓸 수 있는 빠른 메모리를 갑자기 한 자릿수 더 많이 제공함으로써 메모리 부족 사태를 완화하는 존재가 될지도 모른다. 일반 플래시 채널 수십 개를 AI 가속기에 납땜하는 방식으로 더 저렴하고 느린 무언가를 누군가 먼저 만들어주길 바란다.
NPU를 얹고 가중치용 HBF 512GiB와 KV용 저가 LPDDRxX 64GiB를 갖춘 LLM 카드가 몇 년 안에 프로슈머/소기업용 제품으로 자리잡을 수 있을 것 같다.
그것 Nvidia의 ARM 박스인 ET900N G3와 비슷하지 않은가. 저것들은 DDR과 HBM을 섞어 쓴다.
아마 가장 큰 문제는 소비자용 하드웨어에서 어떤 제품이라도 구할 수 있어야 한다는 점이다. 비용은 두 배지만 기업들이 10배를 지불할 무언가를 만들 수 있는데 왜 우리 같은 서민에게 팔겠는가?
탐욕이 그들로 하여금 생산능력을 과잉 구축하게 만들어 십 년쯤 뒤에는 가격이 폭락하기를 바랄 뿐이다.