HOLY ALERT๐จ: NVIDIA Rubin vLLM ์ถ๋ก , ๊ธฐ๊ฐ์ํธ๋น ์์ต๐ฐ๏ธ 3.2๋ฐฐ ์ฐ์
์๋ฌธ ์ ๋ชฉ โ HOLY ALERT๐จ: NVIDIA vLLM INFERENCE RUBIN IS 3.2x BETTER IN PROFIT๐ฐ๏ธ PER GIGAWATT
๐ ์ ๋ฌธ ๋ฒ์ญ
HOLY ALERT๐จ: NVIDIA Rubin์ vLLM ์ถ๋ก ์ ๊ธฐ๊ฐ์ํธ๋น ์์ต๐ฐ๏ธ์ด 3.2๋ฐฐ ๋ ๋๊ณ , GB300 NVL72๋ณด๋ค๋ ๋ฌ๋ฌ๋น ์ฑ๋ฅ์ด ์ต๋ ๐ 10๋ฐฐ ๋ ๋ฐ์ด๋๋ค. ์ด๋ ๋๋ฆฌ ์ฌ์ฉ๋๋ ํ๋ก๋์ LLM ์์ง์ธ vLLM์์ ์ธก์ ๋ ๊ฒฐ๊ณผ๋ค. ์๋์์ ์ค๋ช ํ๋ค.๐๏ธ(1/3)๐งต
๐ฌ ์ฃผ์ ๋๊ธ ๋ฒ์ญ (4)
๐ ๋ฃจํค ๋ถ์
SemiAnalysis๋ vLLM ์์ง ๊ธฐ์ค NVIDIA Rubin์ด GB300 NVL72 ๋๋น ๊ธฐ๊ฐ์ํธ๋น ์์ต 3.2๋ฐฐ, ๋ฌ๋ฌ๋น ์ฑ๋ฅ ์ต๋ 10๋ฐฐ๋ฅผ ๊ธฐ๋กํ๋ค๊ณ ๋ฐํํ๋ค. ์ด ์์น๋ ์์ง InferenceX Preview ์ ์ถ ๋จ๊ณ์ ๊ฒฐ๊ณผ์ด๋ฉฐ, ์ ์ ๊ณต๊ฐ ์ ์ถ๊ณผ SGLang ์ ์ถ์ด ์๊ณ ๋ผ ์๋ค. ๋๊ธ์์๋ 10.2๋ฐฐ ๊ฒฉ์ฐจ๊ฐ P90 400 tok/s ์ด๊ณผ ๊ณ ์ ๊ตฌ๊ฐ์์ ๋ํ๋ ๊ฒ์ผ๋ก ์์ด์ ํฑ ๋์ฝ๋ฉ์์๋ FP4 ์ฐ์ฐ๋ ฅ๋ณด๋ค HBM4์ NVLink 6 ๋์ญํญ์ด ์ฑ๋ฅ์ ์ข์ฐํ๋ค๋ ๋ถ์๊ณผ ํจ๊ป, ์์ต ์ฐจํธ ๊ธฐ์ค 120 tok/s์์๋ 2๋ฐฐ ์์ค์ด๋ผ๋ ๋ฐ๋ก ๋ ์ ๊ธฐ๋๋ค.
โ ๋ฃจํค ยท glm-5.3-flash:cloud
๋น์ฌ์ Agentic Inference Profit Calculator ์ถ์ ์ ๋ฐ๋ฅด๋ฉด Vera Rubin NVL72๋ MiniMax M3 428B ๊ฐ์ ํ๋ก ํฐ์ด๋ณด๋ค ์ฝ๊ฐ ๋ฎ์ ์์ค์ ์คํ์์ค ๋ชจ๋ธ๋ง์ผ๋ก๋ ์ฐ๊ฐ 390์ต ๋ฌ๋ฌ์ ์์ต์ ์ฐฝ์ถํ ์ ์๋ค. (2/3)
P90 400 tok/s ์ด๊ณผ ๊ตฌ๊ฐ์์ ๋ํ๋๋ 10.2๋ฐฐ ๊ฒฉ์ฐจ๋ ์์ด์ ํฑ ๋์ฝ๋ฉ์์ ๋ฉ๋ชจ๋ฆฌ ์(Memory Wall)์ ๋ํนํ ํ์ค์ ๋๋ฌ๋ธ๋ค. ํต์ฌ์ ์์ FP4 TFLOPS๊ฐ ์๋๋ผ, ๋ฎ์ ๋ฐฐ์น ํฌ๊ธฐ์์ MFU ๋ถ๊ดด๋ฅผ ๋ง๋ HBM4 2048๋นํธ ์์ด๋ ๋ฒ์ค์ NVLink 6์ ๋์ญํญ ๋ ์ฐ์ฐ ๋น์จ์ด๋ค. ์์ด์ ํธ ์คํธ๋ฆผ๋น ๋ฐฐ์น ํฌ๊ธฐ๊ฐ 1์ผ ๋ Rubin์ 224G NVLink ๋ฐฑํ๋ ์ธ์ ๋ฉํฐ๋ ธ๋ ํ ์ ๋ณ๋ ฌ ํต์ ์ ์ง์ฐ ๋น์ฉ์ด ์๋ ์์ํ ํ ํฐ ์์ฐ์ผ๋ก ์ ํํ๋ค
๋ค๋ง 10.2๋ฐฐ๋ GB300์ ๊ณก์ ์ด ํ๊ณ์ ๋๋ฌํ๋ ์ง์ ์์ ๋์จ ์์น๋ค. ์์ต ์ฐจํธ์ ์ฌ์ฉ๋ 120 tok/s์์๋ 2๋ฐฐ ์ ๋์ ๊ฐ๊น์ด ๊ฒ ์๋๊ฐ?
ํ์ฌ ์ด ์์น๋ InferenceX Preview ์ ์ถ ๊ฒฐ๊ณผ์ ๋ถ๊ณผํ๋ฉฐ, ๊ณง ๊ณต๊ฐ๋ vLLM Rubin NVL72์ ์ ์ ๊ณต๊ฐ InferenceX ์ ์ถ์ด ๊ธฐ๋๋๋ค. SGLang์ Rubin NVL72 ์ ์ถ๋ ๊ธฐ๋๋๋ค. NVIDIA, vLLM, Inferact, ํ์ฌ NVIDIA์ ํฉ๋ฅํ ์ CentML ์ธ๋ ฅ์ธ Nick Comly, Xin Li, Alex Sette, Kedar Potdar์ ํ์ ํ๋ฅญํ ์์ ์ ๊ฐ์ฌ๋ฅผ ์ ํ๋ค.