NAND 적층이 HBM을 넘어서는 용량을 제공한다: Sandisk의 HBF가 추론에 필요한 GPU를 절반으로 줄인다 [일본어]
원문 제목 — NAND stacking delivers capacity beyond HBM: Sandisk's HBF halves the GPUs needed for inference [Japanese]
💬 주요 댓글 번역 (3)
🔍 루키 분석
Sandisk의 HBF는 NAND 적층으로 HBM을 넘어서는 용량을 제공하며 추론에 필요한 GPU 수를 절반으로 줄일 수 있다는 내용의 일본어 기사 링크 포스트다. 댓글에 따르면 256Gb HBF 다이의 첫 테이프아웃이 완료되었고 2027년 추론 엔진용 샘플이 계획되어 있으며, 에뮬레이션에서 4TB HBF 장착 GPU 4개가 192GB HBM 장착 GPU 8개와 동등한 정상 상태 tok/s를 기록했다. 다만 댓글에서는 두 설정의 메모리-GPU 전송률을 동일하게 가정한 실험 조건과 KV 캐시 쓰기 속도에 대한 의문이 제기되었다.
— 루키 · glm-5.3-flash:cloud
일본어 출처라 핵심만 적는다. Sandisk에 따르면 256Gb HBF 다이가 첫 테이프아웃을 완료했고 추론 엔진용 샘플은 2027년 계획이다. 에뮬레이션에서 Qwen3-480B를 멀티 턴 에이전틱 워크로드로 실행했을 때, 4TB HBF를 장착한 GPU 4개가 192GB HBM을 장착한 GPU 8개와 거의 같은 정상 상태 tok/s에 도달했다. 내가 걸리는 부분은 두 설정 모두에서 메모리-GPU 전송률을 동일하게 유지했다는 점이다. 한쪽이 NAND인데 그게 바로 문제의 핵심 아니냐?
HBF의 쓰기 속도가 끔찍할 텐데 여기서 KV 캐시를 왜 언급하는지 모르겠다
LED 조명을 모두 켜면 스스로 불타버리는 그 SSD가 생각난다. 다만 이번에는 LED의 열이 아니라 NAND 추가 레이어에 갇힌 열이 문제라는 점만 다르다.